基于空间注意力和卷积神经网络的视觉情感分析

蔡国永(),贺歆灏,储阳阳

桂林电子科技大学广西可信软件重点试验室, 广西 桂林 541004

收稿日期:2019-07-23出版日期:2020-08-20发布日期:2020-08-13

作者简介:蔡国永(1971—)，男，广西河池人，教授，博士，主要研究方向为社交媒体数据挖掘. E-mail:ccgycai@guet.edu.cn
基金资助:国家自然科学基金资助项目(61763007);广西自然科学基金重点资助项目(2017JJD160017);广西科技重大专项(AA19046004)

Visual sentiment analysis based on spatial attention mechanism and convolutional neural network

Guoyong CAI(),Xinhao HE,Yangyang CHU

Guangxi Key Lab of Trusted Software, Guilin University of Electronic Technology, Guilin 541004, Guangxi, China

Received:2019-07-23Online:2020-08-20Published:2020-08-13

摘要/Abstract

摘要： 为了解决现有基于深度学习方法的视觉情感分析忽略了图像各局部区域情感呈现的强度差异问题,提出一种结合空间注意力的卷积神经网络spatial attention with CNN, SA-CNN用于提升视觉情感分析效果。设计一个情感区域探测神经网络用于发现图像中诱发情感的局部区域;通过空间注意力机制对情感映射中各个位置赋予注意力权重,恰当抽取各区域的情感特征表示,从而有助于利用局部区域情感信息进行分类;整合局部区域特征和整体图像特征形成情感判别性视觉特征,并用于训练视觉情感的神经网络分类器。该方法在3个真实数据集TwitterⅠ、TwitterⅡ和Flickr上的情感分类准确率分别达到82.56%、80.23%、79.17%,证明利用好图像局部区域情感表达的差异性,能提升视觉情感分类效果。


PDF全文下载地址:

http://gxbwk.njournal.sdu.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=1950