二维码(扫一下试试看!) | 融合序列语法知识的卷积-自注意力生成式摘要方法 | A Convolution-Self Attention Abstractive Summarization Method Fusing Sequential Grammar Knowledge | 投稿时间:2019-07-08 | DOI:10.15918/j.tbit1001-0645.2019.188 | 中文关键词:生成式摘要编码-解码模型语法分析卷积-自注意力模型注意力机制 | English Keywords:abstractive summarizationencoder-decoder modelgrammatical analysisconvolution-self attention modelattention mechanism | 基金项目:国家"十二五"科技支撑计划项目(2012BAI10B01);北京理工大学基础研究基金项目(20160542013);国家"二四二"信息安全计划项目(2017A149) | | 摘要点击次数:741 | 全文下载次数:359 | 中文摘要: | 针对基于编码-解码的生成式摘要模型不能充分提取语法知识导致摘要出现不符合语法规则的问题,循环神经网络易遗忘历史信息且训练时无法并行计算导致处理长文本时生成的摘要主旨不显著以及编码速度慢的问题,提出了一种融合序列语法知识的卷积-自注意力生成式摘要方法.该方法对文本构建短语结构树,将语法知识序列化并嵌入到编码器中,使编码时能充分利用语法信息;使用卷积-自注意力模型替换循环神经网络进行编码,更好学习文本的全局和局部信息.在CNN/Daily Mail语料上进行实验,结果表明提出的方法优于当前先进方法,生成的摘要更符合语法规则、主旨更显著且模型的编码速度更快. | English Summary: | Abstractive summarization is to analyze the core ideas of the document, rephrase or use new words to generate a summary that can summarize the whole document. However, the encoder-decoder model can not fully extract the syntax, that cause the summary not to match the grammar rules. The recurrent neural network is easy to forget the historical information and can not perform parallel computation during training, that cause the main idea of the summary not significant and the coding speed slow. In view of the above problems, a new abstractive summarization method with fusing sequential syntax was proposed for the convolution-self attention model. First, constructing a phrase structure tree for the document and embeding sequential syntax into the encoder, the method could make better use of the syntax when encoding. Then, the convolution-self-attention model was used to replace the recurrent neural network model to encode, learnning the global and local information sufficiently from the document. Experimental results on the CNN/Daily Mail dataset show that, the proposed method is superior to the state-of-the-art methods. At the same time, the generated summaries are more grammatical, the main ideas are more obvious and the encoding speed of the model is faster. | 查看全文查看/发表评论下载PDF阅读器 | |
严迎建,郑震,郭朋飞,朱春生.一种检测S盒能量信息泄漏的t检验方法[J].北京理工大学学报(自然科学版),2021,41(5):542~547.YANYingjian,ZHENGZhen,GUOPengfei,ZHUChunsheng.At-TestMethodforDetectingPowerIn ... 北京理工大学科研学术 本站小编 Free考研考试 2021-12-21罗森林,杨俊楠,潘丽敏,吴舟婷.面向信息与通信技术供应链网络画像构建的文本语义匹配方法[J].北京理工大学学报(自然科学版),2021,41(8):864~872.LUOSenlin,YANGJunnan,PANLimin,WUZhouting.TextSemanticMatchingMethodf ... 北京理工大学科研学术 本站小编 Free考研考试 2021-12-21陈越洋,何行宽,李晨瑶.基于Retinex理论的电子内镜图像增强算法[J].北京理工大学学报(自然科学版),2021,41(9):985~989.CHENYueyang,HEXingkuan,LIChenyao.EndoscopicImageEnhancementBasedonRetinexTheo ... 北京理工大学科研学术 本站小编 Free考研考试 2021-12-21高原,施云惠,韩妍妍,曾萍,尹宝才.附加法向信息的三维网格预测编码[J].北京理工大学学报(自然科学版),2019,39(1):88~94.GAOYuan,SHIYun-hui,HANYan-yan,ZENGPing,YINBao-cai.Compressionof3DMeshBasedonNorm ... 北京理工大学科研学术 本站小编 Free考研考试 2021-12-21张江霄,冯春辉,马金鑫,张斌,徐畅,李舟军,党莹.可任意花费的可传递电子现金系统[J].北京理工大学学报(自然科学版),2019,39(3):283~289.ZHANGJiang-xiao,FENGChun-hui,MAJin-xin,ZHANGBin,XUChang,LIZhou-jun,DANG ... 北京理工大学科研学术 本站小编 Free考研考试 2021-12-21姚国伟,张凤,曹建文,邓志均.基于有向图的运载火箭综合电子系统设计方法[J].北京理工大学学报(自然科学版),2019,39(6):650~654.YAOGuo-wei,ZHANGFeng,CAOJian-wen,DENGZhi-jun.LaunchVehicleIntegratedElectron ... 北京理工大学科研学术 本站小编 Free考研考试 2021-12-21张冬晓,陈亚洲,程二威,杜宝舟.无人机信息链路电磁干扰效应规律研究[J].北京理工大学学报(自然科学版),2019,39(7):756~762.ZHANGDong-xiao,CHENYa-zhou,CHENGEr-wei,DUBao-zhou.EffectsofElectromagneticInte ... 北京理工大学科研学术 本站小编 Free考研考试 2021-12-21.北京理工大学学报2019年总目次(第39卷)[J].北京理工大学学报(自然科学版),2019,39(12):1321~1338..[J].TransactionsofBeijingInstituteofTechnology,2019,39(12):1321-1338.二维码(扫一下试试看!)北京理 ... 北京理工大学科研学术 本站小编 Free考研考试 2021-12-21胡东海,何仁,徐晓明,衣丰艳.电子液压制动系统耗能特性影响因素分析[J].北京理工大学学报(自然科学版),2018,38(3):261~266.HUDong-hai,HERen,XUXiao-ming,YIFeng-yan.AnalysisonInfluencingFactorsofEnergyCo ... 北京理工大学科研学术 本站小编 Free考研考试 2021-12-21.北京理工大学学报2018年总目次(第38卷)[J].北京理工大学学报(自然科学版),2018,38(12):1321~1338..[J].TransactionsofBeijingInstituteofTechnology,2018,38(12):1321-1338.二维码(扫一下试试看!)北京理 ... 北京理工大学科研学术 本站小编 Free考研考试 2021-12-21
| |