结合自监督学习的多任务文本语义匹配方法

陈源¹, 丘心颖^1,2,?

1. 广东外语外贸大学信息科学与技术学院, 广州 5100062. 广州市非通用语种智能处理实验室, 广东外语外贸大学, 广州 510006

收稿日期:2021-06-08修回日期:2021-08-14出版日期:2022-01-20

基金资助:国家社会科学基金(17BGL068)和广东省自然科学基金(2018A030313777)资助

Multi-task Semantic Matching with Self-supervised Learning

CHEN Yuan¹, QIU Xinying^1,2,?

1. School of Information Science and Technology, Guangdong University of Foreign Studies, Guangzhou 5100062. Guangzhou Key Laboratory of Multilingual Intelligent Processing, Guangdong University of Foreign Studies, Guangzhou 510006

Received:2021-06-08Revised:2021-08-14Published:2022-01-20

摘要/Abstract

摘要： 基于文本交互信息对文本语义匹配模型的重要性, 提出一种结合序列生成任务的自监督学习方法。该方法利用自监督模型提取的文本数据对的交互信息, 以特征增强的方式辅助基于神经网络的语义匹配模型, 构建多任务的文本匹配模型。9个模型的实验结果表明, 加入自监督学习模块后, 原始模型的效果都有不同程度的提升, 表明所提方法可以有效地改进深度文本语义匹配模型。

引用本文

陈源, 丘心颖. 结合自监督学习的多任务文本语义匹配方法[J]. 北京大学学报自然科学版, 2022, 58(1): 83-90.
CHEN Yuan, QIU Xinying. Multi-task Semantic Matching with Self-supervised Learning[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2022, 58(1): 83-90.





PDF全文下载地址:

http://xbna.pku.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3702