联合自编码任务的多机制融合复述生成模型

刘明童¹, 张玉洁^1,?, 张姝², 孟遥³, 徐金安¹, 陈钰枫¹

1. 北京交通大学计算机与信息技术学院, 北京 1000442. 富士通研究开发中心, 北京 1000273. 联想研究院人工智能实验室, 北京 100085

收稿日期:2019-05-23修回日期:2019-09-20出版日期:2020-01-20

基金资助:国家自然科学基金(61876198, 61976015, 61370130, 61473294)、中央高校基本科研业务费专项资金(2018YJS025)、北京市自然科学基金(4172047)和科学技术部国际科技合作计划(K11F100010)资助

A Multi-Mechanism Fused Paraphrase Generation Model with Joint Auto-Encoding Learning

LIU Mingtong¹, ZHANG Yujie^1,?, ZHANG Shu², MENG Yao³, XU Jin’an¹, CHEN Yufeng¹

1. School of Computer and Information Technology, Beijing Jiaotong University, Beijing 1000442. Fujitsu Research and Development Center, Beijing 1000273. Lenovo Research, AI Lab, Beijing 100085

Received:2019-05-23Revised:2019-09-20Published:2020-01-20

PDF

(828KB)

可视化

0

复制本文网址

1. 探讨2016版国际胰瘘研究小组定义和分级系统对胰腺术后患者胰瘘分级的影响.PDF(500KB)

-->

摘要/Abstract

摘要： 基于神经网络编码–解码框架的复述生成模型存在两方面的问题: 1) 生成的复述句中存在实体词不准确、未登录词和词汇重复生成; 2) 复述平行语料的有限规模限制了编码器的语义学习能力。针对第一个问题, 本文提出在解码过程中融合注意力机制、复制机制和覆盖机制的多机制复述生成模型, 利用复制机制从原句复制词语来解决实体词和未登录词生成问题; 利用覆盖机制建模学习注意力机制历史决策信息来规避词汇重复生成。针对第二个问题, 基于多任务学习框架, 提出在复述生成任务中联合自编码任务, 两个任务共享一个编码器, 同时利用平行复述语料和原句子数据, 共同增强复述生成编码器的语义学习能力。在Quora复述数据集上的实验结果表明, 提出的联合自编码的多机制融合复述生成模型有效地解决了复述生成的问题, 并提高了复述句的生成质量。

引用本文

刘明童, 张玉洁, 张姝, 孟遥, 徐金安, 陈钰枫. 联合自编码任务的多机制融合复述生成模型[J]. 北京大学学报自然科学版, 2020, 56(1): 53-60.
LIU Mingtong, ZHANG Yujie, ZHANG Shu, MENG Yao, XU Jin’an, CHEN Yufeng. A Multi-Mechanism Fused Paraphrase Generation Model with Joint Auto-Encoding Learning[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2020, 56(1): 53-60.





PDF全文下载地址:

http://xbna.pku.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3433