摘要对于越南语组块识别任务,在前期对越南语组块内部词性构成模式进行统计调查的基础上,该文针对Bi-LSTM+CRF模型提出了两种融入注意力机制的方法: 一是在输入层融入注意力机制,从而使得模型能够灵活调整输入的词向量与词性特征向量各自的权重;二是在Bi-LSTM之上加入了多头注意力机制,从而使模型能够学习到Bi-LSTM输出值的权重矩阵,进而有选择地聚焦于重要信息。实验结果表明,在输入层融入注意力机制后,模型对组块识别的F值提升了3.08%,在Bi-LSTM之上加入了多头注意力机制之后,模型对组块识别的F值提升了4.56%,证明了这两种方法的有效性。
PDF全文下载地址:
http://jcip.cipsc.org.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=2881
删除或更新信息，请邮件至freekaoyan#163.com(#换成@)
融入注意力机制的越南语组块识别方法
本站小编 Free考研考试/2022-01-02
相关话题/实验 信息 统计 注意力 模型
领限时大额优惠券,享本站正版考研考试资料!
优惠券领取后72小时内有效，10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材，产品类型包含电子书、题库、全套资料以及视频，无论您是考研复习、考证刷题，还是考前冲刺等，不同类型的产品可满足您学习上的不同需求。 ...考试优惠券 本站小编 Free壹佰分学习网 2022-09-19融合注意力LSTM的协同过滤推荐算法
摘要针对传统协同过滤算法难以学习深层次用户和项目的隐表示,以及对文本信息不能充分提取单词之间的前后语义关系的问题,该文提出一种融合辅助信息与注意力长短期记忆网络的协同过滤推荐模型。首先,附加堆叠降噪自编码器利用评分信息和用户辅助信息提取用户潜在向量;其次,基于注意力机制的长短期记忆网络利用项目辅助信 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于词频逆文档频统计的词汇时间分布层次
摘要汉语演变过程中,词语使用受时间影响的程度差异很大。这体现为词汇时间分布的不同。该文基于70年跨度历时语料库,使用TF-IDF方法对词汇的时间分布进行了统计,并尝试对词汇系统的时间分布层次进行划分。通过对历时文本分类性能、词类分布、词长分布、覆盖率和词语生命力五方面的考察和分析,建立了由基干层、过 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于上下文词向量和主题模型的实体消歧方法
摘要传统词向量训练模型仅考虑词共现而未考虑词序,语义表达能力弱。此外,现有实体消歧方法没有考虑实体的局部特征。综合实体的全局特征和局部特征,该文提出一种基于上下文词向量和主题模型的实体消歧方法。首先,在传统词向量模型上增加上下文方向向量,用于表征语序,并利用该模型与主题模型训练主题词向量;其次,分别 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于生成对抗模型的异质信息网络语义表征方法研究
摘要近些年,网络表示学习问题吸引了大量研究者的关注,而异构信息网络由于其丰富的结构语义信息及其广阔的应用领域,更是成为了网络表示学习领域的重中之重。目前面向异构信息网络的表示学习模型主要可以分为基于生成式模型的表示学习方法和基于判别式模型的表示学习方法,但是很少有工作同时结合两种模型进行表示学习的优 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02TransRD: 一种不对等特征的知识图谱嵌入表示模型
摘要知识图谱嵌入是一种将实体和关系映射到低维向量空间的技术。目前已有的嵌入表示方法在对具有不对等特征的知识图谱中的实体和关系建模时存在两大缺陷:一是假定头尾实体来自同一语义空间,忽略二者在链接结构和数量上的不对等;二是每个关系单独配置一个投影矩阵,忽略关系之间的内在联系,导致知识共享困难,泛化能力差 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02融合字词模型的中文命名实体识别研究
摘要命名实体识别(NER)是自然语言处理中一项非常重要的基础任务。传统的机器学习方法在处理该任务时,主要依赖于人们的专业领域知识和人工提取的特征。为了在不需要人工特征的条件下获得较好的结果,该文提出了一种融合字词BiLSTM模型的命名实体识别方法。首先分别用BiLSTM-CRF训练得到基于字的模型C ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于代表性答案选择与注意力机制的短答案自动评分
摘要短答案自动评分是智慧教学中的一个关键问题。目前自动评分不准确的主要原因是:(1)预先给定的参考答案不能覆盖多样化的学生答题情况;(2)不能准确刻画学生答案与参考答案匹配情况。针对上述问题,该文采用基于聚类与最大相似度方法选择代表性学生答案构建更完备的参考答案,尽可能覆盖学生不同的答题情况;在此基 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于多源信息融合的分布式词表示学习
摘要分布式词表示学习旨在用神经网络框架训练得到低维、压缩、稠密的词语表示向量。然而,这类基于神经网络的词表示模型有以下不足:(1)罕见词由于缺乏充分上下文训练数据,训练所得的罕见词向量表示不能充分地反映其在语料中的语义信息;(2)中心词语的反义词出现于上下文时,会使意义完全相反的词却赋予更近的空间向 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于Gate-ResNet-D模型的远程监督关系提取方法
摘要在实体关系抽取任务中,通常采用远程监督(distantsupervision,DS)数据集,远程监督方法能通过大规模语料库自动标注数据来扩张数据集,但这无疑会使数据集充满大量的噪声。为此,该文将深度残差网络(deepresidualnetwork,ResNet)应用到关系提取的远程监督数据集上, ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于多特征自注意力BLSTM的中文实体关系抽取
摘要实体关系抽取解决了原始文本中目标实体之间的关系分类问题,同时也被广泛应用于文本摘要、自动问答系统、知识图谱、搜索引擎和机器翻译中。由于中文句式和语法结构复杂,并且汉语有更多歧义,会影响中文实体关系分类的效果。该文提出了基于多特征自注意力的实体关系抽取方法,充分考虑词汇、句法、语义和位置特征,使用 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02
