摘要常见的词嵌入向量模型存在每个词只具有一个词向量的问题,词的主题值是重要的多义性条件,可以作为获得多原型词向量的附加信息。在skip-gram(cbow)模型和文本主题结构基础上,该文研究了两种改进的多原型词向量方法和基于词与主题的嵌入向量表示的文本生成结构。该模型通过联合训练,能同时获得文本主题、词和主题的嵌入向量,实现了使用词的主题信息获得多原型词向量,和使用词和主题的嵌入式向量学习文本主题。实验表明,该文提出的方法不仅能够获得具有上下文语义的多原型词向量,也可以获得关联性更强的文本主题。
PDF全文下载地址:
http://jcip.cipsc.org.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=2918
删除或更新信息,请邮件至freekaoyan#163.com(#换成@)
多原型词向量与文本主题联合学习模型
本站小编 Free考研考试/2022-01-02
相关话题/结构 信息 实验 向量 主题
跨语言词向量研究综述
摘要随着人们对互联网多语言信息需求的日益增长,跨语言词向量已成为一项重要的基础工具,并成功应用到机器翻译、信息检索、文本情感分析等自然语言处理领域。跨语言词向量是单语词向量的一种自然扩展,词的跨语言表示通过将不同的语言映射到一个共享的低维向量空间,在不同语言间进行知识转移,从而在多语言环境下对词义进 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于单语语料和词向量对齐的蒙汉神经机器翻译研究
摘要近年来,随着人工智能和深度学习的发展,神经机器翻译在某些高资源语言对上取得了接近人类水平的效果。然而对于低资源语言对如汉语和蒙古语,神经机器翻译的效果并不尽如人意。为了提高蒙汉神经机器翻译的性能,该文基于编码器—解码器神经机器翻译架构,提出一种改善蒙汉神经机器翻译结果的方法。首先将蒙古语和汉语的 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于隐含主题协同注意力网络的领域分类方法
摘要基于注意力机制的神经网络模型在文本分类任务中显示出了很好的效果。然而当训练数据的规模有限,或者测试数据与训练数据的分布有较大差异时,一些有价值的信息词很难在训练中被模型捕捉到。为此,该文提出了一种新的基于协同注意力(co-attention)网络的领域分类方法。该文利用隐含主题模型学习隐含主题注 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02支持中文句法结构套叠的组合范畴语法
摘要词组入句时发生语法性质转变,词组的句法范畴就应该转换,这种转换依赖词组作为整体进入更大词组的结构需要。要解释这种现象,组合范畴语法应该增加相应的转换规则。从集合论角度看,汉语有名词—动词—形容词依次包含关系,由此可归纳基本句法结构之间的转类套叠。在类有定职的前提下,得出转类套叠对应的范畴转换规则 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02从物性结构看“处所+N”复合词的词义与释义
摘要该文从物性结构角度分析了“处所+N”复合词中处所成分与中心成分之间的语义关系,发现单纯表事物存在之处的很少,多表示事物使用或者产生的地方,或兼而有之。隐含的谓词是名词的功用角色或施成角色,这些谓词应该出现在释义中,以揭示构词成分间的具体语义关系,阐明事物的命名理据。目前有些词的释义尚不完备,缺乏 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02融入丰富信息的高性能神经实体链接
摘要歧义的存在使得实体链接任务需要大量信息的支撑。已有研究主要使用两类信息,即实体表述所在的文本信息和外部的知识库信息。但已有研究对信息的使用存在以下两个问题:首先,最新通用知识库规模更大、覆盖面更广,但目前的实体链接模型却未从中受益,其性能没有得到相应提升;其次,表述所在的文本信息既包含表述所处的 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于神经主题模型的对话情感分析
摘要对话情感分析旨在识别出一段对话中每个句子的情感倾向,其在电商客服数据分析中发挥着关键作用。不同于对单个句子的情感分析,对话中句子的情感倾向依赖于其在对话中的上下文。目前已有的方法主要采用循环神经网络和注意力机制建模句子之间的关系,但是忽略了对话作为一个整体所呈现的特点。建立在多任务学习的框架下, ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于结构化表示的中文事件同指消解方法
摘要事件同指消解是自然语言处理中一个具有挑战性的任务,它在事件抽取、问答系统和阅读理解中具有重要作用。针对事件的语义信息主要由触发词和论元表示这一个特点,该文将事件进行结构化表示并输入一个基于门控和注意力机制的模型GAN-SR(gatedattentionnetworkwithstructuredr ...中科院软件研究所 本站小编 Free考研考试 2022-01-02融合词结构特征的多任务老挝语词性标注方法
摘要目前,老挝语词性标注研究处于初期,可用标注语料有限,且老挝语吸收了多种外来词,导致标注语料库存在大量稀疏词。多任务学习是有效识别稀疏词的一种方法,该文研究了老挝词的结构特征,并构建了结合词性标注损失和主辅音辅助损失的多任务老挝语词性标注模型。老挝词有很多词缀可以表达词性信息,因此模型还采用了字符 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于上下文词向量和主题模型的实体消歧方法
摘要传统词向量训练模型仅考虑词共现而未考虑词序,语义表达能力弱。此外,现有实体消歧方法没有考虑实体的局部特征。综合实体的全局特征和局部特征,该文提出一种基于上下文词向量和主题模型的实体消歧方法。首先,在传统词向量模型上增加上下文方向向量,用于表征语序,并利用该模型与主题模型训练主题词向量;其次,分别 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02