中文对话理解中基于预训练的意图分类和槽填充联合模型

马常霞¹,张晨²

1.江苏海洋大学计算机工程学院, 江苏 连云港 222005;2. 新加坡国立大学电气与计算机工程学院, 新加坡 117583

发布日期:2020-12-15

作者简介:马常霞(1975— ),女,副教授,博士,主要研究方向为机器学习,模式识别,自然语言理解. E-mail:machangxia2002cn@aliyun.com
基金资助:新加坡国家研究基金LTA城市机动性大挑战计划STKinetics自动公交试验(UM01/002)

Pre-trained based joint model for intent classification and slot filling in Chinese spoken language understanding

MA Changxia¹, ZHANG Chen²

1. School of Computer Engineering, Jiangsu Ocean University, Lianyungang 222005, Jiangsu, China;
2. Department of Electrical and Computer Engineering, National University of Singapore, Singapore 117583, Singapore

Published:2020-12-15

摘要/Abstract

摘要： 基于预训练和注意机制的意图分类和语义槽填充,提出一种结合双向长短时记忆(bidirectional long short-term memory, BiLSTM)、条件随机场(conditional random fields, CRF)和注意机制的双向编码(bidirectional encoder representations from transformers, BERT)具有双向编码表示和注意机制的联合模型。该模型无需过多依赖手工标签数据和领域特定的知识或资源,避免了目前普遍存在的弱泛化能力。在自主公交信息查询系统语料库上进行的试验表明,该模型意图分类的准确性和语义槽填充F1值分别达到98%和96.3%,均产生有效改进。


PDF全文下载地址:

http://gxbwk.njournal.sdu.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=1991