摘要为了学习文本的语义表征,以往的研究者主要依赖于复杂的循环神经网络(recurrent neural networks, RNNs)和监督式学习方法。该文提出了一种门控联合池化自编码器(gated mean-max AAE)用于学习中英文的文本语义表征。该文的自编码器完全通过多头自注意力机制(multi-head self-attention mechanism)来构建编码器和解码器网络。在编码阶段,提出了均值—最大化(mean-max)联合表征策略,即同时运用平均池化(mean pooling)和最大池化(max pooling)操作来捕获输入文本中多样性的语义信息。为促使联合池化表征可以全面地指导重构过程,解码器采用门控操作进行动态关注。通过在大规模中英文未标注语料上训练模型,获得了高质量的句子编码器。在重构文本段落的实验中,该文模型在实验效果和计算效率上均超越了传统的RNNs模型。将公开训练好的文本编码器,使其可以方便地运用于后续的研究。
PDF全文下载地址:
http://jcip.cipsc.org.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=2728
删除或更新信息，请邮件至freekaoyan#163.com(#换成@)
基于门控联合池化自编码器的通用性文本表征
本站小编 Free考研考试/2022-01-02
相关话题/实验 计算 网络 过程 信息
领限时大额优惠券,享本站正版考研考试资料!
优惠券领取后72小时内有效，10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材，产品类型包含电子书、题库、全套资料以及视频，无论您是考研复习、考证刷题，还是考前冲刺等，不同类型的产品可满足您学习上的不同需求。 ...考试优惠券 本站小编 Free壹佰分学习网 2022-09-19基于深度神经网络的维吾尔文命名实体识别研究
摘要现有的维吾尔文命名实体识别主要采用基于条件随机场的统计学习方法,但依赖于人工提取的特征工程和领域知识。针对该问题,该文提出了一种基于深度神经网络的学习方法,并引入不同的特征向量表示。首先利用大规模未标注语料训练的词向量模型获取每个单词具有语义信息的词向量;其次,利用Bi-LSTM提取单词的字符级 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02韩国语句子结构相似度计算方法研究
摘要句子相似度计算是信息处理领域一项基础技术,在基于实例的机器翻译中直接影响译文质量。该文以韩国语句子为研究对象,结合韩国语的句子特点提出了一种句子结构相似度的计算方法。该方法通过先提取句子的骨架结构,然后结合韩国语的句法特点制定标记转换规则,最后用转换后的句子结构与实例库中句子匹配得到与之相似的句 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于注意力机制与文本信息的用户关系抽取
摘要随着社交媒体的发展,用户之间的关系网络对于社交媒体的分析有很大的帮助。因此,该文主要研究用户好友关系检测。以往的关于用户好友关系抽取的研究主要基于社交媒体上的结构化信息,比如其他好友关系,用户的不同属性等。但是,很多时候用户本身并没有大量的好友信息存在,同时也不一定有很多确定的属性。因此,我们希 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于神经网络的集句诗自动生成
摘要集句诗是中国古典诗歌的一种特殊体裁。是从前人的诗篇中选取已有诗句,再将其巧妙组合形成一首新诗,是一种艺术的再创造形式。集句诗的生成要求集辑而成的诗不仅合辙押韵,且有完整的内容、连贯的上下文和新颖的主旨意境,对创作者的知识储备和诗词鉴赏能力有极高的要求。该文基于计算机的海量存储和快速检索能力,以及 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于神经网络的藏语语音合成
摘要语音合成是人机交互的核心技术之一,也是中文信息处理领域的一项前沿技术。随着神经网络理论的不断深入,基于神经网络的语音合成技术越来越引起人们的关注。该文通过分析藏文字结构与藏语拼读规则,融合SequencetoSequence模型和注意力机制,研究了基于神经网络的藏语语音合成技术。实验数据表明,该 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02网络表示学习算法的分析与验证
摘要网络表示学习算法是社交网络分析领域的一个热点问题。该文旨在研究现有的各种网络表示学习算法,并分析各类算法在不同结构的网络数据中的性能,对3大类别、共10种网络表示学习算法在8个网络上进行了网络节点的多标签分类以验证算法的性能,以此来全面评价各类算法的效果、效率和应用范围。实验结果表明,DeepW ...中科院软件研究所 本站小编 Free考研考试 2022-01-02融合依存信息Attention机制的药物关系抽取研究
摘要药物关系(Drug-DrugInteraction,DDI)抽取是生物医学关系抽取领域的重要分支,现有方法主要强调实体、位置等信息对关系抽取的影响。相关研究表明,依存信息对于关系抽取具有重要作用,如何合理利用依存信息是关系抽取研究中需要解决的问题。该文提出一种融合依存信息Attention机制的 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02融合反问特征的卷积神经网络的中文反问句识别
摘要反问是一种带有强烈情感色彩的表达方式,对其进行自动识别将提升隐式情感分析的整体效率。针对汉语反问句识别问题,该文分析了反问句的句式特点,将反问句的句式结构融入到卷积神级网络的构建中,提出一种融合句式结构的卷积神经网络的反问句识别方法。首先利用置信度大于70%的反问句的特征词、序列模式,对大规模未 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02融合卷积神经网络与层次化注意力网络的中文文本情感倾向性分析
摘要文本情感倾向性分析是自然语言处理研究领域的一个基础问题。基于深度学习的模型是处理此问题的常用模型。而当前的多数深度学习模型在中文文本情感倾向性分析方面的应用存在两个问题:一是未能充分考虑到文本的层次化结构对情感倾向性判定的重要作用,二是传统的分词技术在处理文本时会产生歧义。该文针对这些问题基于卷 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于多特征融合编码的神经网络依存句法分析模型
摘要在基于神经网络的依存句法分析中,对分析栈和决策层信息的表示和利用依然有值得深入研究的空间。针对分析栈的表示,已有工作并没有对单棵依存子树独立编码的表示,导致无法利用各个依存子树的局部特征;也没有对生成的依存弧序列进行编码,导致无法利用依存弧的全局信息。针对决策层的表示,已有工作利用MLP预测转移 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02
