基于双向长短期记忆网络和标签嵌入的文本分类模型

董彦如¹,刘培玉¹,刘文锋^1,2,赵红艳³

1.山东师范大学信息科学与工程学院, 山东 济南 250358;2.菏泽学院计算机学院, 山东 菏泽 274015;3.山东英才学院信息工程学院, 山东 济南 250101

发布日期:2020-11-17

作者简介:董彦如(1995— ),女,硕士研究生,研究方向为自然语言处理. E-mail:858344533@qq.com
基金资助:国家自然科学基金资助项目(61373148);国家自然科学基金青年资助项目(61502151);山东省社科规划项目(17CHLJ18,17CHLJ33,17CHLJ30);山东省自然科学基金资助项(ZR2014FL010);山东省教育厅基金资助项目(J15LN34)

A text classification model based on BiLSTM and label embedding

DONG Yan-ru¹, LIU Pei-yu¹, LIU Wen-feng^1,2, ZHAO Hong-yan³

1. School of Information Science and Engineering, Shandong Normal University, Jinan 250358, Shandong, China;
2. School of Computer Science, Heze University, Heze 274015, Shandong, China;
3. School of Information Engineering, Shandong Yingcai University, Jinan 250101, Shandong, China

Published:2020-11-17

摘要/Abstract

摘要： 提出了一种基于双向长短期记忆网络和标签嵌入的文本分类模型。首先利用BERT模型提取句子特征,然后通过BiLSTM和注意力机制得到融合重要上、下文信息的文本表示,最后将标签和词在联合空间学习,利用标签与词之间的兼容性得分对标签和句子表示加权,实现标签信息的双重嵌入,分类器根据给定标签信息对句子进行分类。在5个权威数据集上的实验表明,该方法能有效地提高文本分类性能,具有更好的实用性。


PDF全文下载地址:

http://lxbwk.njournal.sdu.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3364