摘要在蒙汉神经机器翻译任务中,由于语料稀少使得数据稀疏问题严重,极大影响了模型的翻译效果。该文对子字粒度切分技术在蒙汉神经机器翻译模型中的应用进行了研究。通过BPE算法将切分粒度控制在字符和词之间的子字粒度大小,将低频词切分成相对高频的子字片段,来缓解数据稀疏问题,从而在有限的数据和硬件资源条件下,更高效地提升模型的鲁棒性。实验表明,在两种网络模型中使用子字粒度切分技术,BLEU值分别提升了4.81和2.96,且随着语料的扩大,训练周期缩短效果也更加显著,说明子字粒度切分技术有助于提高蒙汉神经机器翻译效果。
PDF全文下载地址:
http://jcip.cipsc.org.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=2701
删除或更新信息,请邮件至freekaoyan#163.com(#换成@)
子字粒度切分在蒙汉神经机器翻译中的应用
本站小编 Free考研考试/2022-01-02
相关话题/数据 技术 神经 网络 实验
面向神经机器翻译的模型存储压缩方法分析
摘要模型存储压缩,旨在在不改变模型性能的同时,大幅度降低神经网络中过多的模型参数带来的存储空间浪费。研究人员对于模型存储压缩方法的研究大多数在计算机视觉任务上,缺乏对机器翻译模型压缩方法的研究。该文在机器翻译任务上通过实验对比剪枝、量化、低精度三种模型压缩方法在Transformer和RNN(rec ...中科院软件研究所 本站小编 Free考研考试 2022-01-02融合卷积神经网络与层次化注意力网络的中文文本情感倾向性分析
摘要文本情感倾向性分析是自然语言处理研究领域的一个基础问题。基于深度学习的模型是处理此问题的常用模型。而当前的多数深度学习模型在中文文本情感倾向性分析方面的应用存在两个问题:一是未能充分考虑到文本的层次化结构对情感倾向性判定的重要作用,二是传统的分词技术在处理文本时会产生歧义。该文针对这些问题基于卷 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于多特征融合编码的神经网络依存句法分析模型
摘要在基于神经网络的依存句法分析中,对分析栈和决策层信息的表示和利用依然有值得深入研究的空间。针对分析栈的表示,已有工作并没有对单棵依存子树独立编码的表示,导致无法利用各个依存子树的局部特征;也没有对生成的依存弧序列进行编码,导致无法利用依存弧的全局信息。针对决策层的表示,已有工作利用MLP预测转移 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于主题网络的伪主题分析
摘要传统无监督的主题建模方法利用相互独立的主题变量抽象描述文本语义,忽略了各主题内部隐含的结构和联系,粗粒化的文本主题分析加剧了“强制主题”问题对文本建模的影响。该文通过研究主题网络社区内部结构,结合主题内部语义耦合关系与网络拓扑结构,提出伪主题分析方法来识别和解释主题,实现从网络结构角度描述文本语 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于自联想记忆与卷积神经网络的跨语言情感分类
摘要该文提出了一种以商品评论为对象的基于语义融合的跨语言情感分类算法。该算法首先从短文本语义表示的角度出发,基于开源工具Word2Vec预先生成词嵌入向量来获得不同语言下的信息表示;其次,根据不同语种之间的词向量的统计关联性提出使用自联想记忆关系来融合提取跨语言文档语义;然后利用卷积神经网络的局部感 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于统计和神经网络的蒙汉机器翻译研究
摘要该文对基于传统统计模型的蒙汉机器翻译模型和基于神经网络机器翻译模型进行了研究。其中,神经网络翻译模型分别为基于CNN、RNN的翻译模型,并通过将所有翻译模型结果进行句子级融合得到一个融合模型。面对蒙汉翻译面临资源稀少、蒙古文形态复杂等困难,该文提出多种翻译技术,对各个模型进行改进,并对蒙古文进行 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02一种基于数据重构和富特征的神经网络机器阅读理解模型
摘要该文描述了ZWYC团队在“2018机器阅读理解技术竞赛”上提出的机器理解模型。所提出模型将机器阅读理解问题建模成连续文本片段抽取问题,提出基于富语义特征的神经交互网络模型。为了充分使用答案标注信息,模型首先对数据进行细致的重构,让人工标注的多个答案信息都能融合到数据中。通过特征工程,对每个词构建 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02地理社会网络数据可视化分析研究综述
摘要随着移动互联网与社会网络的深度融合,基于位置服务(LocationBasedService,LBS)的社交媒体应用更加流行,成为地理社会网络(Geo-SocialNetworks,GSN)的研究重点。基于位置信息的社会网络(LocationBasedSocialNetwork,LBSN)由于具有 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02适应多领域多来源文本的汉语依存句法数据标注规范
摘要近十年来,依存句法分析由于具有表示形式简单、灵活、分析效率高等特点,得到了学术界广泛关注。为了支持汉语依存句法分析研究,国内同行分别标注了几个汉语依存句法树库。然而,目前还没有一个公开、完整、系统的汉语依存句法数据标注规范,并且已有的树库标注工作对网络文本中的特殊语言现象考虑较少。为此,该文充分 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于简单循环单元的深层神经网络机器翻译模型
摘要基于注意力机制的神经网络机器翻译模型已经成为目前主流的翻译模型,在许多翻译方向上均超过了统计机器翻译模型,尤其是在训练语料规模比较大的情况下,优势更加明显。该模型使用编码器—解码器框架,将翻译任务建模成序列到序列的问题。然而,在基于门控循环单元(gatedrecurrentunit,GRU)的编 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02