删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

基于情感信息辅助的多模态情绪识别

本站小编 Free考研考试/2021-12-20

基于情感信息辅助的多模态情绪识别

吴良庆, 刘启元, 张栋?, 王建成, 李寿山, 周国栋
苏州大学计算机科学与技术学院, 苏州 215006

收稿日期:2019-05-22修回日期:2019-09-19出版日期:2020-01-20

基金资助:国家自然科学基金(61331011, 61375073)资助

Multimodal Emotion Recognition with Auxiliary Sentiment Information

WU Liangqing, LIU Qiyuan, ZHANG Dong?, WANG Jiancheng, LI Shoushan, ZHOU Guodong
School of Computer Science & Technology, Soochow University, Suzhou 215006

Received:2019-05-22Revised:2019-09-19Published:2020-01-20



PDF

(1064KB)

可视化

0

复制本文网址



1. 探讨2016版国际胰瘘研究小组定义和分级系统对胰腺术后患者胰瘘分级的影响.PDF(500KB)

-->



摘要/Abstract


摘要: 不同于纯文本的情绪分析, 本文面向多模态数据(文本和语音)进行情绪识别研究。为了同时考虑多模态数据特征, 提出一种新颖的联合学习框架, 将多模态情绪分类作为主任务, 多模态情感分类作为辅助任务, 通过情感信息来辅助提升情绪识别任务的性能。首先, 通过私有网络层对主任务中的文本和语音模态信息分别进行编码, 以学习单个模态内部的情绪独立特征表示。接着, 通过辅助任务中的共享网络层来获取主任务的辅助情绪表示以及辅助任务的单模态完整情感表示。在得到主任务的文本和语音辅助情绪表示之后, 分别与主任务中的单模态独立特征表示相结合, 得到主任务中单模态情绪信息的完整表示。最后, 通过自注意力机制捕捉每个任务上的多模态交互特征, 得到最终的多模态情绪表示和情感表示。实验结果表明, 本文方法在多模态情感分析数据集上可以通过情感辅助信息大幅度地提升情绪分类任务的性能, 同时情感分类任务的性能也得到一定程度的提升。

引用本文



吴良庆, 刘启元, 张栋, 王建成, 李寿山, 周国栋. 基于情感信息辅助的多模态情绪识别[J]. 北京大学学报自然科学版, 2020, 56(1): 75-81.
WU Liangqing, LIU Qiyuan, ZHANG Dong, WANG Jiancheng, LI Shoushan, ZHOU Guodong. Multimodal Emotion Recognition with Auxiliary Sentiment Information[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2020, 56(1): 75-81.





PDF全文下载地址:

http://xbna.pku.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3436
相关话题/信息 主任 数据 网络 计算机科学与技术学院

  • 领限时大额优惠券,享本站正版考研考试资料!
    大额优惠券
    优惠券领取后72小时内有效,10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材,产品类型包含电子书、题库、全套资料以及视频,无论您是考研复习、考证刷题,还是考前冲刺等,不同类型的产品可满足您学习上的不同需求。 ...
    本站小编 Free壹佰分学习网 2022-09-19
  • 基于神经耦合模型的异构词法数据转化和融合
    基于神经耦合模型的异构词法数据转化和融合黄德朋,李正华?,龚晨,张民苏州大学计算机科学与技术学院,苏州215006收稿日期:2019-05-22修回日期:2019-09-19出版日期:2020-01-20基金资助:国家自然科学基金(61525205,61876116,61702518)和江苏高校优势 ...
    本站小编 Free考研考试 2021-12-20
  • 北京大学道路地震学观测台阵设计及数据特点
    北京大学道路地震学观测台阵设计及数据特点温景充1,2,鲍铁钊1,2,冯永革1,宁杰远1,2,?1.北京大学地球与空间科学学院,北京1008712.高铁地震学联合研究组,北京100029收稿日期:2019-07-15修回日期:2019-08-14出版日期:2019-09-20基金资助:国家自然科学基金 ...
    本站小编 Free考研考试 2021-12-20
  • 利用单检波器数据估计高铁列车运行速度
    利用单检波器数据估计高铁列车运行速度王晓凯1,2,王保利2,3,陈文超1,2,?,李嘉琪2,41.西安交通大学信息与通信工程学院,西安7100492.高铁地震学联合研究组,北京1000293.中煤科工集团西安研究院有限公司,西安7100494.北京大学地球与空间科学学院,北京100871收稿日期:2 ...
    本站小编 Free考研考试 2021-12-20
  • 基于步行时足底压力信息的前交叉韧带断裂辅助诊断方法
    基于步行时足底压力信息的前交叉韧带断裂辅助诊断方法黄红拾1,王政飞2,许国雄2,李文新2,张思1,张东霞1,敖英芳1,?1.北京大学第三医院运动医学研究所,北京1001912.北京大学信息科学技术学院,北京100871收稿日期:2018-06-14修回日期:2018-11-01出版日期:2019-0 ...
    本站小编 Free考研考试 2021-12-20
  • 具有热鲁棒性的适应性基因调控网络
    具有热鲁棒性的适应性基因调控网络刘明,王宏利?北京大学物理学院,北京100871收稿日期:2018-08-17修回日期:2018-09-23出版日期:2019-07-20基金资助:国家重大科学研究计划(2015CB910300)资助AdaptiveFunctionalNetworkwithTherm ...
    本站小编 Free考研考试 2021-12-20
  • 基于平面气浮实验数据获取机械臂在轨关节驱动力矩的理论建模与实验验证
    基于平面气浮实验数据获取机械臂在轨关节驱动力矩的理论建模与实验验证张磊1,崔志武2,陈韬2,姚宏翔3,赵振2,?1.空间智能机器人系统技术与应用北京市重点实验室,中国空间技术研究院总体部,北京1000942.北京航空航天大学航空科学与工程学院,北京1001913.清华大学航天航空学院,北京10008 ...
    本站小编 Free考研考试 2021-12-20
  • 基于集合经验模态分解和BP神经网络的北京市PM2.5预报研究
    基于集合经验模态分解和BP神经网络的北京市PM2.5预报研究任晓晨1,4,邹思琳1,唐娴2,韦骏3,?1.北京大学物理学院大气与海洋科学系,北京1008712.中国气象局公共气象服务中心,北京1000813.中山大学大气科学学院,广州5102754.中国人民解放军96813部队,黄山245000收稿 ...
    本站小编 Free考研考试 2021-12-20
  • 基于AETA监测数据的地震预测研究
    基于AETA监测数据的地震预测研究王新安1,,雍珊珊1,黄继攀1,吕亚轩1,张兴2,梁意文31.北京大学深圳研究生院地震监测预测技术研究中心,深圳5180552.北京大学信息科学技术学院,北京1008713.武汉大学计算机技术学院,武汉430072收稿日期:2018-03-21修回日 ...
    本站小编 Free考研考试 2021-12-20
  • 基于改进孪生网络结构的相似法律案例检索研究
    基于改进孪生网络结构的相似法律案例检索研究李兰君,周俊生,顾颜慧,曲维光南京师范大学计算机科学与技术学院,南京210023收稿日期:2018-04-15修回日期:2018-08-13出版日期:2019-01-20基金资助:国家自然科学基金(61472191,61772278,4157 ...
    本站小编 Free考研考试 2021-12-20
  • 基于组合神经网络的语义省略“的”字结构识别
    基于组合神经网络的语义省略的字结构识别侍冰清1,戴茹冰2,曲维光1,2,3,,顾彦慧1,周俊生1,李斌2,徐戈3,史胜旺11.南京师范大学计算机科学与技术学院,南京2100232.南京师范大学文学院,南京2100973.闽江学院福建省信息处理与智能控制重点 ...
    本站小编 Free考研考试 2021-12-20