基于BERT-SUMOPN模型的抽取-生成式文本自动摘要

谭金源¹,刁宇峰¹,杨亮¹,祁瑞华²,林鸿飞¹

1. 大连理工大学信息检索实验室, 辽宁 大连 116024;2. 大连外国语大学语言智能研究中心, 辽宁 大连 116024

发布日期:2021-07-19

作者简介:谭金源(1997— ),男,硕士研究生,研究方向为文本摘要. E-mail:1997tjy@mail.dlut.edu.cn*通信作者简介:林鸿飞(1962— ),男,博士,教授,研究方向为自然语言处理. E-mail:hflin@dlut.edu.cn
基金资助:国家重点研发计划资助项目(2019YFC1200302);国家自然科学基金重点资助项目(61632011)

Extractive-abstractive text automatic summary based on BERT-SUMOPN model

TAN Jin-yuan¹, DIAO Yu-feng¹, YANG Liang¹, QI Rui-hua², LIN Hong-fei¹

1. Information Retrieval Laboratory, Dalian University of Technology, Dalian 116024, Liaoning, China;
2. Language Intelligence Research Center, Dalian University of Foreign Languages, Dalian 116024, Liaoning, China

Published:2021-07-19

摘要/Abstract

摘要： 抽取式摘要可读性、准确性较差,生成式摘要存在连贯性、逻辑性的不足,此外2种摘要方法的传统模型对文本的向量表示往往不够充分、准确。针对以上问题,该文提出了一种基于BERT-SUMOPN模型的抽取-生成式摘要方法。模型通过BERT预训练语言模型获取文本向量,然后利用抽取式结构化摘要模型抽取文本中的关键句子,最后将得到的关键句子输入到生成式指针生成网络中,通过EAC损失函数对模型进行端到端训练,结合coverage机制减少生成重复,获取摘要结果。实验结果表明,BERT-SUMOPN模型在BIGPATENT专利数据集上取得了很好的效果,ROUGE-1和ROUGE-2指标分别提升了3.3%和2.5%。


PDF全文下载地址:

http://lxbwk.njournal.sdu.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3471