一种基于多任务学习的多模态情感识别方法

林子杰¹, 龙云飞², 杜嘉晨¹, 徐睿峰^1,?

1. 哈尔滨工业大学(深圳)计算机科学与技术学院, 深圳 5180552. School of Computer Science and Electronic Engineering, University of Essex, Colchester CO4 3SQ

收稿日期:2020-06-08修回日期:2020-08-14出版日期:2021-01-20

基金资助:国家自然科学基金(61876053, 61632011, 62006062)、深圳市基础研究学科布局项目(JCYJ20180507183527919, JCYJ20180507183608379)和广东省新冠肺炎疫情防控科研专项(2020KZDZX1224)和深圳市技术攻关项目(JSGG20170817140856618)资助

A Multi-modal Sentiment Recognition Method Based on Multi-task Learning

LIN Zijie¹, LONG Yunfei², DU Jiachen¹, XU Ruifeng^1,?

1. School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen), Shenzhen 5180552. School of Computer Science and Electronic Engineering, University of Essex, Colchester CO4 3SQ

Received:2020-06-08Revised:2020-08-14Published:2021-01-20

PDF

(3483KB)

可视化

0

复制本文网址

1. 探讨2016版国际胰瘘研究小组定义和分级系统对胰腺术后患者胰瘘分级的影响.PDF(500KB)

-->

摘要/Abstract

摘要： 为了通过设置辅助任务学习到更具有情感倾向性的视频和语音表示, 进而提升模态融合的效果, 提出一种基于多任务学习的多模态情感识别模型, 使用多模态共享层来学习视觉和语音模型的情感信息。在MOSI数据集和MOSEI数据集上的实验表明, 添加两个辅助的单模态情感识别任务后, 模型可以学习到更有效的单模态情感表示, 并且在两个数据集上的情感识别准确率比目前性能最佳的单任务模型分别提升0.8%和2.5%。

引用本文

林子杰, 龙云飞, 杜嘉晨, 徐睿峰. 一种基于多任务学习的多模态情感识别方法[J]. 北京大学学报自然科学版, 2021, 57(1): 7-15.
LIN Zijie, LONG Yunfei, DU Jiachen, XU Ruifeng. A Multi-modal Sentiment Recognition Method Based on Multi-task Learning[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2021, 57(1): 7-15.





PDF全文下载地址:

http://xbna.pku.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3561