基于细粒度可解释矩阵的摘要生成模型

王浩男¹, 高扬^1,3,?, 冯俊兰², 胡珉², 王惠欣², 柏宇¹

1. 北京理工大学计算机学院, 北京 1000812. 中国移动通信研究院, 北京 1000323. 北京市海量语言信息处理与云计算应用工程技术研究中心, 北京 100081

收稿日期:2020-06-08修回日期:2020-08-07出版日期:2021-01-20

基金资助:教育部–中国移动科研基金(MCM20170302)资助

Abstractive Summarization Based on Fine-Grained Interpretable Matrix

WANG Haonan¹, GAO Yang^1,3,?, FENG Junlan², HU Min², WANG Huixin², BAI Yu¹

1. School of Computer Science and Technology, Beijing Institute of Technology, Beijing 1000812. China Mobile Research Institute, Beijing 1000323. Beijing Engineering Research Center of High Volume Language Information Processing and Cloud Computing Applications, Beijing 100081

Received:2020-06-08Revised:2020-08-07Published:2021-01-20

PDF

(850KB)

可视化

0

复制本文网址

1. 探讨2016版国际胰瘘研究小组定义和分级系统对胰腺术后患者胰瘘分级的影响.PDF(500KB)

-->

摘要/Abstract

摘要： 针对摘要模型中总结并解释长篇上下文信息存在的困难, 提出一种基于细粒度可解释矩阵, 先抽取再生成的摘要模型(fine-grained interpretable matrix, FGIM), 提升长文本对显著度、更新性和相关度的可解释抽取能力, 引导系统自动生成摘要。该模型通过一个句对判别(pair-wise)抽取器对文章内容进行压缩, 捕获文章中心度高的句子, 将抽取后的文本与生成器相结合, 实现摘要生成。在生成端通过可解释的掩码矩阵, 控制生成摘要的内容属性, 在编码器端分别使用多层Transformer和预训练语言模型BERT来验证其适用性。在标准文本摘要数据集(CNN/DailyMail和NYT50)上的实验表明, 所提模型的ROUGE指标和人工评估结果均优于当前最好的基准模型。实验中还构建两个测试数据集来验证摘要的更新度和相关度, 结果表明所提模型在可控生成方面取得相应的提升。

引用本文

王浩男, 高扬, 冯俊兰, 胡珉, 王惠欣, 柏宇. 基于细粒度可解释矩阵的摘要生成模型[J]. 北京大学学报自然科学版, 2021, 57(1): 23-30.
WANG Haonan, GAO Yang, FENG Junlan, HU Min, WANG Huixin, BAI Yu. Abstractive Summarization Based on Fine-Grained Interpretable Matrix[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2021, 57(1): 23-30.





PDF全文下载地址:

http://xbna.pku.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3563