基于跨语种预训练语言模型XLM-R的神经机器翻译方法

王倩, 李茂西^?, 吴水秀, 王明文

江西师范大学计算机信息工程学院, 南昌 330022

收稿日期:2021-06-12修回日期:2021-08-09出版日期:2022-01-20

基金资助:国家自然科学基金(61662031)资助

Neural Machine Translation Based on XLM-R Cross-lingualPre-training Language Model

WANG Qian, LI Maoxi^?, WU Shuixiu, WANG Mingwen

江西师范大学计算机信息工程学院, 南昌 330022

Received:2021-06-12Revised:2021-08-09Published:2022-01-20

摘要/Abstract

摘要： 探索将XLM-R跨语种预训练语言模型应用在神经机器翻译的源语言端、目标语言端和两端, 提高机器翻译的质量。提出3种网络模型, 分别在Transformer神经网络模型的编码器、解码器以及两端同时引入预训练的XLM-R多语种词语表示。在WMT英语-德语、IWSLT英语-葡萄牙语以及英语-越南语等翻译中的实验结果表明, 对双语平行语料资源丰富的翻译任务, 引入XLM-R可以很好地对源语言句子进行编码, 从而提高翻译质量; 对双语平行语料资源匮乏的翻译任务, 引入XLM-R不仅可以很好地对源语言句子进行编码, 还可以对源语言端和目标语言端的知识同时进行补充, 提高翻译质量。

引用本文

王倩, 李茂西, 吴水秀, 王明文. 基于跨语种预训练语言模型XLM-R的神经机器翻译方法[J]. 北京大学学报自然科学版, 2022, 58(1): 29-36.
WANG Qian, LI Maoxi, WU Shuixiu, WANG Mingwen. Neural Machine Translation Based on XLM-R Cross-lingualPre-training Language Model[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2022, 58(1): 29-36.





PDF全文下载地址:

http://xbna.pku.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3695