摘要该文提出利用一个大型且精度高的神经机器翻译模型(教师模型)从单语数据中提取隐性双语知识,从而改进小型且精度低的神经机器翻译模型(学生模型)的翻译质量。该文首先提出了“伪双语数据”的教学方法,利用教师模型翻译单语数据获得的合成双语数据改进学生模型,然后提出了“负对数似然—知识蒸馏联合优化”教学方法,除了利用合成双语数据,还利用教师模型获得的目标语言词语概率分布作为知识,从而在知识蒸馏框架下提高学生模型的翻译质量。实验证明,在中英和德英翻译任务上,使用该方法训练的学生模型不仅在领域内测试集上显著超过了基线学生模型,而且在领域外测试集上的泛化性能也得到了提高。
PDF全文下载地址:
http://jcip.cipsc.org.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=2797
删除或更新信息，请邮件至freekaoyan#163.com(#换成@)
利用单语数据改进神经机器翻译压缩模型的翻译质量
本站小编 Free考研考试/2022-01-02
相关话题/数据 知识 翻译 测试 神经
领限时大额优惠券,享本站正版考研考试资料!
优惠券领取后72小时内有效，10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材，产品类型包含电子书、题库、全套资料以及视频，无论您是考研复习、考证刷题，还是考前冲刺等，不同类型的产品可满足您学习上的不同需求。 ...考试优惠券 本站小编 Free壹佰分学习网 2022-09-19融合图片主题信息的图片描述翻译
摘要图片描述翻译是给定图片及图片在某一语言的描述,利用翻译技术为图片生成目标语言描述的任务。观察发现,不同图片表达的场景往往不同,对应的图片描述具有明显的主题差异性。因此,利用主题信息能够提升翻译效果。然而,图片描述的内容通常较短,无法有效反映其主题。针对该问题,该文提出了一种融合图片主题信息的图片 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于领域特征的神经机器翻译领域适应方法
摘要神经机器翻译在资源丰富领域上训练的翻译模型往往在其他资源稀缺领域中表现较差,领域适应是利用资源丰富的领域帮助资源稀少的领域提升翻译质量的一种方法。该文提出基于领域特征的领域适应方法以提升资源稀缺领域的神经机器翻译质量。具体而言,该文尝试构建领域敏感网络以获得领域特有特征,构建领域不敏感网络以获得 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于语言学扰动的事件检测数据增强方法
摘要近年来,深度学习在事件检测领域取得了长足进展。但是,现有方法通常受制于事件检测标注数据的规模和训练阶段的不稳定性。针对上述问题,本文提出了基于语言学扰动的事件检测数据增强方法,从语法和语义两个角度生成伪数据来提升事件检测的性能。为了有效的利用生成的伪数据,该文探索了数据增加和多实例学习两个训练策 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于改进词向量GRU神经网络模型的藏语实体关系抽取
摘要互联网数据的爆炸式增长,使得研究热点更多转向Web内容结构化分析。如果将藏语知识以结构化形式表示,那么将会有利于藏语知识的结构化分析和深度挖掘。该文提出了一种优化词向量的GRU神经网络模型进行藏语实体关系抽取的方法。在模型的训练中,加入了优化的词向量,在传统的词向量模型中结合藏语音节向量、音节位 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02面向新类型人名识别的数据增强方法
摘要人名识别常被作为命名实体识别任务的一部分,与其他类型的实体同时进行识别。当前使用NER方法的人名识别依赖于训练语料对特定类型人名的覆盖,在遇到新类型人名时性能显著下降。针对上述问题,该文提出了一种基于数据增强(dataaugmentation)的方法,使用新类型人名实体替换的策略来生成伪训练数据 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于知识图谱的原发性肝癌知识问答系统
摘要问答系统可以增加用户获取信息的便捷度,而知识图谱作为结构化的数据来源,可以为问答系统提供更加高质量的知识,基于医学知识图谱的问答系统具有重要的研究和应用意义。该文针对成人中常见的原发性肝癌,从医学指南及SemMedDB知识库中抽取其知识三元组,构建了原发性肝癌的知识图谱。在此基础上,实现了流水线 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于双层注意力循环神经网络的方面级情感分析
摘要在方面级情感分析中,常用的方法是将循环神经网络和注意力机制结合,利用注意力获取序列中不同单词的重要程度,但这并不能获取不同句子的重要程度,仅仅依赖单层注意力难于获取深层次情感特征信息。为了解决上述问题,该文提出一种基于双层注意力循环神经网络模型。通过双层注意力分别对单词层和句子层进行建模,捕获不 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02文本摘要常用数据集和方法研究综述
摘要文本摘要成为人们从互联网上海量文本信息中便捷获取知识的重要手段。现有方法都是在特定数据集上进行训练和效果评价,包括一些公用数据集和作者自建数据集。已有综述文献对现有方法进行全面细致的总结,但大多都是对方法进行总结,而缺少对数据集的详细描述。该文从调研数据集的角度出发,对文本摘要常用数据集及在该数 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02融合语言特征的卷积神经网络的反讽识别方法
摘要面对某些热点事件,微博评论者经常使用反讽来表达对于该事件的看法,以往的情感分析任务往往忽略这一语言现象。为了提高微博情感分析的准确率,该文对反讽识别开展了研究。通过分析中文文本的语言现象和社交网络的特性,归纳了中文微博反讽的语言特征,提出了一种融合语言特征的卷积神经网络(CNN)的反讽识别方法。 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02面向文本数据的正则化交叉验证方法
摘要面向文本数据建模时,交叉验证方法是特征选择及模型比较任务中的常用方法。许多研究表明,文本数据模型的性能估计对交叉验证的数据切分方式较为敏感,不合理的切分方式可能会导致不稳定的性能估计值,使得实验结果可复现性差。该文试图论证基于多次重复(m次)的2折交叉验证,通过引入对训练集、验证集分布差异的约束 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02
