程艳¹,尧磊波¹,张光河¹,唐天伟²,项国雄³,陈豪迈⁴,冯悦¹,蔡壮¹

¹(江西师范大学计算机信息工程学院 南昌 330022);²(江西师范大学管理决策评价研究中心 南昌 330022);³(江西师范大学新闻与传播学院 南昌 330022);⁴(豫章师范学院数学与计算机学院 南昌 330022) (chyan88888@jxnu.edu.cn)

出版日期: 2020-12-01


基金资助:国家自然科学基金项目(61967011)；江西省自然科学基金项目(20202BABL202033)；江西省重点研发计划项目(20161BBE50086)；江西省教育厅科技重点项目(GJJ150299)；教育厅人文社科重点(重大)项目(JD19056)

Text Sentiment Orientation Analysis of Multi-Channels CNN and BiGRU Based on Attention Mechanism

Cheng Yan¹, Yao Leibo¹, Zhang Guanghe¹, Tang Tianwei², Xiang Guoxiong³, Chen Haomai⁴, Feng Yue¹, Cai Zhuang¹

¹(School of Computer Information Engineering, Jiangxi Normal University, Nanchang 330022);²(Center of Management Decision Evaluation Research, Jiangxi Normal University, Nanchang 330022);³(School of Journalism and Communication, Jiangxi Normal University, Nanchang 330022);⁴(School of Mathematics and Computer, Yuzhang Normal University, Nanchang 330022)

Online: 2020-12-01


Supported by:This work was supported by the National Natural Science Foundation of China (61967011), the Natural Science Foundation Project of Jiangxi Province (20202BABL202033), the Primary Research and Development Program of Jiangxi Province (20161BBE50086), the Science and Technology Key Project of Education Department of Jiangxi Province (GJJ150299), and the Humanities and Social Sciences Key (Major) Project of the Education Department (JD19056).

摘要/Abstract

摘要： 近年来，卷积神经网络(convolutional neural network, CNN)和循环神经网络(recurrent neural network, RNN)已在文本情感分析领域得到广泛应用，并取得了不错的效果.然而，文本之间存在上下文依赖问题，虽然CNN能提取到句子连续词间的局部信息，但是会忽略词语之间上下文语义信息；双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络不仅能够解决传统RNN模型存在的梯度消失或梯度爆炸问题，而且还能很好地弥补CNN不能有效提取长文本的上下文语义信息的缺陷，但却无法像CNN那样很好地提取句子局部特征.因此提出一种基于注意力机制的多通道CNN和双向门控循环单元(MC-AttCNN-AttBiGRU)的神经网络模型.该模型不仅能够通过注意力机制关注到句子中对情感极性分类重要的词语，而且结合了CNN提取文本局部特征和BiGRU网络提取长文本上下文语义信息的优势，提高了模型的文本特征提取能力.在谭松波酒店评论数据集和IMDB数据集上的实验结果表明：提出的模型相较于其他几种基线模型可以提取到更丰富的文本特征，可以取得比其他基线模型更好的分类效果.

参考文献

相关文章 15

[1]	廖海斌, 徐斌. 基于性别和年龄因子分析的鲁棒性人脸表情识别[J]. 计算机研究与发展, 2021, 58(3): 528-538.
[2]	张世琨, 谢睿, 叶蔚, 陈龙. 基于关键词的代码自动摘要[J]. 计算机研究与发展, 2020, 57(9): 1987-2000.
[3]	李梦莹, 王晓东, 阮书岚, 张琨, 刘淇. 基于双路注意力机制的学生成绩预测模型[J]. 计算机研究与发展, 2020, 57(8): 1729-1740.
[4]	陈彦敏, 王皓, 马建辉, 杜东舫, 赵洪科. 基于层级注意力机制的互联网用户信用评估框架[J]. 计算机研究与发展, 2020, 57(8): 1755-1768.
[5]	李若南, 李金宝. 一种无源被动室内区域定位方法的研究[J]. 计算机研究与发展, 2020, 57(7): 1381-1392.
[6]	邢新颖, 冀俊忠, 姚垚. 基于自适应多任务卷积神经网络的脑网络分类方法[J]. 计算机研究与发展, 2020, 57(7): 1449-1459.
[7]	于海涛, 杨小汕, 徐常胜. 基于多模态输入的对抗式视频生成方法[J]. 计算机研究与发展, 2020, 57(7): 1522-1530.
[8]	王庆林, 李东升, 梅松竹, 赖志权, 窦勇. 面向飞腾多核处理器的Winograd快速卷积算法优化[J]. 计算机研究与发展, 2020, 57(6): 1140-1151.
[9]	张艺璇, 郭斌, 刘佳琪, 欧阳逸, 於志文. 基于多级注意力机制网络的app流行度预测[J]. 计算机研究与发展, 2020, 57(5): 984-995.
[10]	张莹莹, 钱胜胜, 方全, 徐常胜. 基于多模态知识感知注意力机制的问答方法[J]. 计算机研究与发展, 2020, 57(5): 1037-1045.
[11]	刘烨, 黄金筱, 马于涛. 基于混合神经网络和注意力机制的软件缺陷自动分派方法[J]. 计算机研究与发展, 2020, 57(3): 461-473.
[12]	杜鹏, 丁世飞. 基于混合词向量深度学习模型的DGA域名检测方法[J]. 计算机研究与发展, 2020, 57(2): 433-446.
[13]	贺周雨, 冯旭鹏, 刘利军, 黄青松. 面向大规模图像检索的深度强相关散列学习方法[J]. 计算机研究与发展, 2020, 57(11): 2375-2388.
[14]	尉桢楷, 程梦, 周夏冰, 李志峰, 邹博伟, 洪宇, 姚建民. 基于类卷积交互式注意力机制的属性抽取研究[J]. 计算机研究与发展, 2020, 57(11): 2456-2466.
[15]	石文浩,孟军,张朋,刘婵娟. 融合CNN和Bi-LSTM的miRNA-lncRNA互作关系预测模型[J]. 计算机研究与发展, 2019, 56(8): 1652-1660.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4312