基于多模态融合技术的用户画像方法

张壮¹, 冯小年², 钱铁云^1,?

1. 武汉大学计算机学院, 武汉 4300722. 中国电力财务有限公司, 北京 100005

收稿日期:2019-05-21修回日期:2019-09-22出版日期:2020-01-20

基金资助:国家自然科学基金(61572376)资助

User Profiling Based on Multimodal Fusion Technology

ZHANG Zhuang¹, FENG Xiaonian², QIAN Tieyun^1,?

1. School of Computer Science, Wuhan University, Wuhan 4300722. China Power Finance Co., Ltd, Beijing 100005

Received:2019-05-21Revised:2019-09-22Published:2020-01-20

PDF

(802KB)

可视化

0

复制本文网址

1. 探讨2016版国际胰瘘研究小组定义和分级系统对胰腺术后患者胰瘘分级的影响.PDF(500KB)

-->

摘要/Abstract

摘要： 针对当前用户画像工作中各模态信息不能被充分利用的问题, 提出一种跨模态学习思想, 设计一种基于多模态融合的用户画像模型。首先利用 Stacking集成方法, 融合多种跨模态学习联合表示网络, 对相应的模型组合进行学习, 然后引入注意力机制, 使得模型能够学习不同模态的表示对预测结果的贡献差异性。改进后的模型具有精心设计的网络结构和目标函数, 能够生成一个由特征级融合和决策级融合组成的联合特征表示, 从而可以合并不同模态的相关特征。在真实数据集上的实验结果表明, 所提模型优于当前最好的基线方法。

引用本文

张壮, 冯小年, 钱铁云. 基于多模态融合技术的用户画像方法[J]. 北京大学学报自然科学版, 2020, 56(1): 105-111.
ZHANG Zhuang, FENG Xiaonian, QIAN Tieyun. User Profiling Based on Multimodal Fusion Technology[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2020, 56(1): 105-111.





PDF全文下载地址:

http://xbna.pku.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3440