基于Masked-Pointer的多轮对话重写模型

杨双涛?, 符博, 于晨晨, 胡长建

联想研究院人工智能实验室, 北京 100085

收稿日期:2020-06-16修回日期:2020-08-10出版日期:2021-01-20

Multi-Turn Conversation Rewriter Model Based on Masked-Pointer

YANG Shuangtao^?, FU Bo, YU Chenchen, HU Changjian

AI Lab, Lenovo Research, Beijing 100085

Received:2020-06-16Revised:2020-08-10Published:2021-01-20

PDF

(764KB)

可视化

0

复制本文网址

1. 探讨2016版国际胰瘘研究小组定义和分级系统对胰腺术后患者胰瘘分级的影响.PDF(500KB)

-->

摘要/Abstract

摘要： 针对多轮会话中的Non-Sentential Utterances (NSUs)问题, 结合当前在自然语言处理领域广泛使用的预训练语言模型, 将Masked Language Model用于多轮会话NSUs的重写任务, 提出Masked Rewriter Model。与基于Seq2Seq的重写模型相比, 重写效果提升明显。根据NSUs重写任务特点, 将Masked Language Model与Pointer Network相结合, 提出基于Masked-Pointer Rewriter Model的多轮会话重写模型, 利用指针网络, 提升重写模型对上文信息的关注程度, 在BERT Masked Rewriter模型的基础上进一步提升重写效果。

引用本文

杨双涛, 符博, 于晨晨, 胡长建. 基于Masked-Pointer的多轮对话重写模型[J]. 北京大学学报自然科学版, 2021, 57(1): 31-37.
YANG Shuangtao, FU Bo, YU Chenchen, HU Changjian. Multi-Turn Conversation Rewriter Model Based on Masked-Pointer[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2021, 57(1): 31-37.





PDF全文下载地址:

http://xbna.pku.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3564