基于BERT-IDCNN-CRF的中文命名实体识别方法

李妮¹(),关焕梅^2,*(),杨飘²,董文永²

1. 中国电力科学研究院有限公司电网环境保护国家重点实验室，湖北 武汉 430074
2. 武汉大学计算机学院，湖北 武汉 430072

收稿日期:2019-09-02出版日期:2020-01-20发布日期:2020-01-10
通讯作者:关焕梅E-mail:lini@epri.sgcc.com.cn;hmguan@whu.edu.cn
作者简介:李妮(1982—)，女，硕士，高级工程师，研究方向为电力系统电磁环境和电磁兼容. E-mail: lini@epri.sgcc.com.cn
基金资助:国家电网公司总部科技项目(GY71-18-009)

BERT-IDCNN-CRF for named entity recognition in Chinese

Ni LI¹(),Huan-mei GUAN^2,*(),Piao YANG²,Wen-yong DONG²

1. State Key Laboratory of Power Grid Environmental Protection, China Electric Power Research Institute, Wuhan 430074, Hubei, China
2. School of Computer Science, Wuhan University, Wuhan 430072, Hubei, China

Received:2019-09-02Online:2020-01-20Published:2020-01-10
Contact:Huan-mei GUAN E-mail:lini@epri.sgcc.com.cn;hmguan@whu.edu.cn

摘要/Abstract

摘要： 预训练语言模型能够表达句子丰富的句法和语法信息，并且能够对词的多义性建模，在自然语言处理中有着广泛的应用，BERT(bidirectional encoder representations from transformers)预训练语言模型是其中之一。在基于BERT微调的命名实体识别方法中，存在的问题是训练参数过多，训练时间过长。针对这个问题提出了基于BERT-IDCNN-CRF(BERT-iterated dilated convolutional neural network-conditional random field)的中文命名实体识别方法，该方法通过BERT预训练语言模型得到字的上下文表示，再将字向量序列输入IDCNN-CRF模型中进行训练，训练过程中保持BERT参数不变，只训练IDCNN-CRF部分，在保持多义性的同时减少了训练参数。实验表明，该模型在MSRA语料上F1值能够达到94.41%，在中文命名实体任务上优于目前最好的Lattice-LSTM模型，提高了1.23%；与基于BERT微调的方法相比，该方法的F1值略低但是训练时间大幅度缩短。将该模型应用于信息安全、电网电磁环境舆情等领域的敏感实体识别，速度更快，响应更及时。


PDF全文下载地址:

http://lxbwk.njournal.sdu.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3214