摘要在自然语言处理领域,全局注意力机制通过考虑编码器的所有隐藏状态来捕获信息,从而帮助预测结果。然而在理解汉语成语这种复杂的语言现象时,模型往往会因特定语境的干扰而产生错误的决定和认知。因此,为了使模型更好地感知成语在不同语境下的语法功能,该文提出了一种增强型的全局注意力机制,通过对每个位置空间产生额外的注意因子来调整原始的全局注意力,最终提高了模型对特定语义的学习能力。该文将增强型全局注意力机制与BERT语言模型相结合,设计了一个用于完形填空任务的模型,并在最近发布的中文成语完形填空数据集ChID上进行了实验。结果表明,相比于传统的BERT模型和全局注意模型,该模型取得的效果更优。
PDF全文下载地址:
http://jcip.cipsc.org.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3168
删除或更新信息，请邮件至freekaoyan#163.com(#换成@)
面向中文成语的阅读理解方法研究
本站小编 Free考研考试/2022-01-02
相关话题/语言 设计 汉语 信息 语法
领限时大额优惠券,享本站正版考研考试资料!
优惠券领取后72小时内有效，10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材，产品类型包含电子书、题库、全套资料以及视频，无论您是考研复习、考证刷题，还是考前冲刺等，不同类型的产品可满足您学习上的不同需求。 ...考试优惠券 本站小编 Free壹佰分学习网 2022-09-19自然语言处理评测中的问题与对策
摘要自然语言处理中的评测任务引导和推动着技术、模型和方法上的研究。近年来,新的评测数据集和评测任务不断被提出,与此同时,现有评测暴露的一系列问题也限制了自然语言处理技术的进步。该文从自然语言处理评测的概念、构成、发展和意义出发,分类综述了主流自然语言处理评测的任务和特点,进而总结归纳了自然语言处理评 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于图神经网络和语义知识的自然语言推理任务研究
摘要自然语言推理任务的目的是推断两个句子之间的语义逻辑关系。该文通过模仿人类的推理过程构造模型,首先利用长短时记忆网络提取词的语境特征,模仿人类粗读句子的过程;然后依据外部语义知识,连接两个句子中有语义联系的词,构造一个以词为节点的语义图;接下来模仿人类比较两个句子的语义角色相似性的思维,用图卷积或 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02CPLM-CSC:基于单字级别预训练语言模型的中文错别字纠正方法
摘要由于汉语语义表达的多样性和复杂性,中文错别字自动纠正目前存在很多挑战。现有的错别字纠正算法的性能普遍不够理想,而且需要大量高质量的语料进行训练。该文提出一种基于预训练语言模型的错别字纠正方法CPLM-CSC,能够显著地提高纠错性能。CPLM-CSC采用基于单字级别预训练语言模型来进行错别字检测, ...中科院软件研究所 本站小编 Free考研考试 2022-01-02人脑如何学习新的语言规则
摘要成人大脑究竟能否掌握新的语言规则,是语言学习研究领域一直存在争议的问题。习得年龄、输入量和相似性,哪个才是影响语言规则学习的重要因素？学界始终没有统一的结论。该文以成年汉语母语者为研究对象,基于小数据的人工语法学习(artificialgrammarlearning,AGL)范式设计实验,采用跟 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02聚合邻域信息的联合知识表示模型
摘要知识表示学习在关系抽取、自动问答等自然语言处理任务中获得了广泛关注,该技术旨在将知识库中的实体与关系表示为稠密低维实值向量。然而,已有的模型在建模知识库中的三元组时,或是忽略三元组的邻域信息,导致无法处理关联知识较少的罕见实体,或是在引入邻域信息时不能自适应地为每个实体抽取最相关的邻节点属性,导 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于深层语言模型的古汉语知识表示及自动断句研究
摘要古文句读不仅需要考虑当前文本的语义和语境信息,还需要综合历史文化常识,对专家知识有较高要求。该文提出了一种基于深层语言模型(BERT)的古汉语知识表示方法,并在此基础上通过条件随机场和卷积神经网络实现了高精度的自动断句模型。在诗、词和古文三种文体上,模型断句F1值分别达到99%、95%和92%以 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02融合粗细粒度信息的长答案选择神经网络模型
摘要答案选择是问答系统中的关键技术之一,而长答案选择在社区问答系统、开放域问答系统等非实体问答系统中有着重要地位。该文提出了一个结合粗粒度(句子级别)和细粒度(单词或n元单词级)信息的模型,缓解了传统句子建模方式应用于长答案选择时不能把握住句子的全部重要信息的不足和使用比较-聚合框架处理该类问题时不 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02图神经网络在自然语言处理中的应用
摘要近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在。因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用。该文对图神经网络在自然 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于信息增强BERT的关系分类
摘要关系分类是自然语言处理领域中重要的语义处理任务,随着机器学习技术的发展,预训练模型BERT在多项自然语言处理任务中取得了大量研究成果,但在关系分类领域尚有待探索。该文针对关系分类的问题特点,提出一种基于实体与实体上下文信息增强BERT的关系分类方法(EC_BERT),该方法利用BERT获取句子特 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于用户与产品信息和图卷积网络的情感分类研究
摘要在评论情感分析的研究中,和评论相关的用户与产品信息对于提高情感分类的准确率有很大的帮助。为了能够有效地利用产品和用户信息,并构建产品和用户信息与评论之间的关联,该文提出一种基于图网络的模型,将产品与用户信息和评论之间的关系构建为一个图,并基于图卷积网络模型学习产品与用户信息对评论的影响,从而提升 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02
