摘要注意力机制逐渐成为目前深度学习领域的主流方法和研究热点之一,它通过改进源语言表达方式,在解码中动态选择源语言相关信息,从而极大改善了经典Encoder-Decoder框架的不足。该文在提出传统基于Encoder-Decoder框架中存在的长程记忆能力有限、序列转化过程中的相互关系、模型动态结构输出质量等问题的基础上,描述了注意力机制的定义和原理,介绍了多种不同的分类方式,分析了目前的研究现状,并叙述了目前注意力机制在图像识别、语音识别和自然语言处理等重要领域的应用情况。同时,进一步从多模态注意力机制、注意力的评价机制、模型的可解释性及注意力与新模型的融合等方面进行了探讨,从而为注意力机制在深度学习中的应用提供新的研究线索与方向。
PDF全文下载地址:
http://jcip.cipsc.org.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=2774
删除或更新信息，请邮件至freekaoyan#163.com(#换成@)
注意力机制在深度学习中的研究进展
本站小编 Free考研考试/2022-01-02
相关话题/序列 图像 语言 结构 质量
领限时大额优惠券,享本站正版考研考试资料!
优惠券领取后72小时内有效，10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材，产品类型包含电子书、题库、全套资料以及视频，无论您是考研复习、考证刷题，还是考前冲刺等，不同类型的产品可满足您学习上的不同需求。 ...考试优惠券 本站小编 Free壹佰分学习网 2022-09-19基于跨语言词向量模型的蒙汉查询词扩展方法研究
摘要跨语言信息检索指以一种语言为检索词,检索出用另一种或几种语言描述的一种信息的检索技术,是信息检索领域重要的研究方向之一。近年来,跨语言词向量为跨语言信息检索提供了良好的词向量表示,受到很多****的关注。该文首先利用跨语言词向量模型实现汉文查询词到蒙古文查询词的映射,其次提出串联式查询扩展、串联 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于局部和全局语义融合的跨语言句子语义相似度计算模型
摘要跨语言句子语义相似度计算旨在计算不同语言句子之间的语义相似程度。近年来,前人提出了基于神经网络的跨语言句子语义相似度模型,这些模型多数使用卷积神经网络来捕获文本的局部语义信息,缺少对句子中远距离单词之间语义相关信息的获取。该文提出一种融合门控卷积神经网络和自注意力机制的神经网络结构,用于获取跨语 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于序列到序列模型的事件识别
摘要事件识别是以事件为单位进行信息抽取的起点,对后续各个子任务都意义重大。针对事件识别任务,该文提出了一种融入文档信息的序列到序列方法,一方面借助神经网络减少了特征工程产生的人工依赖,另一方面借助注意力机制将局部的词、实体与全局的文档中事件的共现等信息统一建模。在LDC2017E02语料上实验结果表 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02融合语言特征的卷积神经网络的反讽识别方法
摘要面对某些热点事件,微博评论者经常使用反讽来表达对于该事件的看法,以往的情感分析任务往往忽略这一语言现象。为了提高微博情感分析的准确率,该文对反讽识别开展了研究。通过分析中文文本的语言现象和社交网络的特性,归纳了中文微博反讽的语言特征,提出了一种融合语言特征的卷积神经网络(CNN)的反讽识别方法。 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02面向文本结构的混合分层注意力网络的话题归类
摘要针对目前话题归类模型中文本逻辑结构特征与文本组织结构特征利用不充分的问题,该文提出一种面向文本结构的混合分层注意力网络的话题归类模型(TSOHHAN)。文本结构包括逻辑结构和组织结构,文本的逻辑结构包括标题和正文等信息;文本的组织结构包括字—词语—句层次。TSOHHAN模型采用竞争机制融合标题和 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于卷积神经网络与篇章结构的足球新闻自动生成方法
摘要当前的足球比赛新闻通常是由专家或记者手工撰写的,足球比赛新闻的手工写作既费时又低效。随着在线直播平台与社交媒体的流行,体育网络直播脚本大幅增加,但网络直播脚本通常只记载一场比赛的流水,具有冗长且重点模糊的特性,不适宜于赛后直接阅读。为了解决以上问题,在比赛之后,可以基于直播脚本撰写和发布足球比赛 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02联机汉字篇章书写质量评价研究
摘要该文的研究工作针对硬笔汉字篇章书写练习的智能评价与指导需求展开。在PAD等数字录入设备支持的联机书写状态下,以记录书写笔迹的时序点集为依据,先实现分行割字,再进行行水平、行间距稳定性、行间距均匀性、字间距均匀性和左对齐等的计算并获得特征参量。最终通过专家经验赋权法给出直观的书写质量评价结果。实验 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02韩国语句子结构相似度计算方法研究
摘要句子相似度计算是信息处理领域一项基础技术,在基于实例的机器翻译中直接影响译文质量。该文以韩国语句子为研究对象,结合韩国语的句子特点提出了一种句子结构相似度的计算方法。该方法通过先提取句子的骨架结构,然后结合韩国语的句法特点制定标记转换规则,最后用转换后的句子结构与实例库中句子匹配得到与之相似的句 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于枢轴语言的图像描述生成研究
摘要当前图像描述生成的研究主要仅限于单语言(如英文),这得益于大规模的已人工标注的图像及其英文描述语料。该文探索零标注资源情况下,以英文作为枢轴语言的图像中文描述生成研究。具体地,借助于神经机器翻译技术,该文提出并比较了两种图像中文描述生成的方法:(1)串行法,该方法首先将图像生成英文描述,然后由英 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于序列标注的引语识别初探
摘要句间引用关系自动识别是篇章分析中一项重要内容。句间引用关系影响着对句群篇章的分析,而目前自然语言处理中对引用这一句间关系的研究较少。句间引用关系主要体现在引语中的引用句上。引语由引导句和引用句组成,一般分为直接引语和间接引语,其中间接引语的识别难度最大。引导句和引用句相对位置不定、不同领域语料的 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02
