融合语境语义差异特征的短文本匹配模型

张文慧, 汪美玲, 侯志荣^?

工商银行金融科技研究院, 北京 100029

收稿日期:2022-05-13修回日期:2022-08-04出版日期:2023-01-20发布日期:2023-01-20
通讯作者:侯志荣, E-mail: houzr(at)tech.icbc.com.cn

A Short Text Matching Model Incorporating ContextualSemantic Differences

ZHANG Wenhui, WANG Meiling, HOU Zhirong^?

ICBC Technology Co Ltd, Beijing 100029

Received:2022-05-13Revised:2022-08-04Online:2023-01-20Published:2023-01-20
Contact:HOU Zhirong, E-mail: houzr(at)tech.icbc.com.cn

摘要/Abstract

摘要： 在字面相同语义不同和字面不同语义相同的情况下, 短文本匹配往往不能准确地得到语句间语义的相似程度。针对这一问题, 提出一种融合语境语义差异特征的短文本匹配模型。该模型以BERT系列的语言模型作为基础匹配模型, 采用一种新的Diff Transformer 结构作为差异特征提取器, 并以门控方式融合基础语义表示和差异特征表示来提升匹配效果。在中文测试数据集上的实验结果表明, 所提出的模型可以达到先进模型的效果。

引用本文

张文慧, 汪美玲, 侯志荣. 融合语境语义差异特征的短文本匹配模型[J]. 北京大学学报自然科学版, 2023, 59(1): 30-38.
ZHANG Wenhui, WANG Meiling, HOU Zhirong. A Short Text Matching Model Incorporating ContextualSemantic Differences[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2023, 59(1): 30-38.





PDF全文下载地址:

http://xbna.pku.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3824