基于Transformer局部信息及语法增强架构的中文拼写纠错方法

段建勇, 袁阳, 王昊^?

北方工业大学信息学院, 北京 100043

收稿日期:2020-05-29修回日期:2020-08-13出版日期:2021-01-20

基金资助:国家自然科学基金(61972003, 61672040)资助

Chinese Spelling Correction Method Based on Transformer LocalInformation and Syntax Enhancement Architecture

DUAN Jianyong, YUAN Yang, WANG Hao^?

School of Information Science and Technology, North China University of Technology, Beijing 100043

Received:2020-05-29Revised:2020-08-13Published:2021-01-20

PDF

(874KB)

可视化

0

复制本文网址

1. 探讨2016版国际胰瘘研究小组定义和分级系统对胰腺术后患者胰瘘分级的影响.PDF(500KB)

-->

摘要/Abstract

摘要： 针对中文拼写纠错, 提出两种新的改进方法。其一, 在Transformer注意力机制的基础上, 添加高斯分布的偏置矩阵, 用于提高模型对局部文本的关注程度, 加强对错误文本中错误字词和周边文字的信息提取。其二, 使用ON_LSTM模型, 对错误文本表现出的特殊语法结构特征进行语法信息提取。实验结果表明, 所提出的两种方法均能有效提高准确率和召回率, 并且, 将两种方法融合后的模型取得最高F1值。

引用本文

段建勇, 袁阳, 王昊. 基于Transformer局部信息及语法增强架构的中文拼写纠错方法[J]. 北京大学学报自然科学版, 2021, 57(1): 61-67.
DUAN Jianyong, YUAN Yang, WANG Hao. Chinese Spelling Correction Method Based on Transformer LocalInformation and Syntax Enhancement Architecture[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2021, 57(1): 61-67.





PDF全文下载地址:

http://xbna.pku.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3568