基于字面和语义相关性匹配的智能篇章排序

张芳芳^1,2*,曹兴超^1,2

1.北京大学信息科学技术学院, 北京 100871;2.北京大学计算中心, 北京 100871

收稿日期:2017-09-07出版日期:2018-03-20发布日期:2018-03-13
通讯作者:张芳芳(1994— ),女,硕士,研究方向为自然语言处理. E-mail:ffz@pku.edu.cnE-mail:ffz@pku.edu.cn并列第一作者简介:曹兴超(1992— ),男,硕士,研究方向为推荐系统. E-mail:caoxingchao@pku.edu.cn
作者简介:张芳芳(1994— ),女,硕士,研究方向为自然语言处理. E-mail:ffz@pku.edu.cn并列第一作者简介:曹兴超(1992— ),男,硕士,研究方向为推荐系统. E-mail:caoxingchao@pku.edu.cn

Lexical and semantic relevance matching based neural document ranking

ZHANFG Fang-fang^1,2*, CAO Xing-chao^1,2

School of Information Science and Technology, Peking University, Beijing 100871, China;
2. Computer Center, Peking University, Beijing 100871, China

Received:2017-09-07Online:2018-03-20Published:2018-03-13

摘要/Abstract

摘要： 提出了一种基于字面相关性匹配和语义相关性匹配的深度神经网络模型,用来计算信息检索中查询和文档的匹配得分。字面相关性匹配模型基于查询和文档之间的词共现矩阵,主要考虑查询和文档的字面匹配信息以及匹配词的位置信息;语义相关性匹配模型基于预训练的词向量,进一步通过卷积神经网络提取查询和文档之间不同位置的语义匹配信息,最后的匹配得分是这两个子模型的叠加。损失函数采用hinge loss,通过最大化正负样本之间的分数差来更新参数。实验结果表明,模型在验证集上的NDCG@3和NDCG@5分别可以达到0.790 4和0.818 3,相对于BM25以及单个的字面匹配或者语义匹配模型来说都有很大的提升,这也验证了字面匹配和语义匹配对于信息检索的重要性。


PDF全文下载地址:

http://lxbwk.njournal.sdu.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=2928