(中国科学院智能信息处理重点实验室(中国科学院计算技术研究所) 北京 100190) (中国科学院计算技术研究所 北京 100190) (中国科学院大学 北京 100049) (qipeng@ict.ac.cn)
出版日期: 2021-07-01基金资助:国家自然科学基金重点项目(U1703261)Semantics-Enhanced Multi-Modal Fake News Detection
Qi Peng, Cao Juan, Sheng Qiang(Key Laboratory of Intelligent Information Processing of Chinese Academy of Science (Institute of Computing Technology, Chinese Academy of Sciences), Beijing 100190) (Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190) (University of Chinese Academy of Sciences, Beijing 100049)
Online: 2021-07-01Supported by:This work was supported by the Key Program of the National Natural Science Foundation of China (U1703261).摘要/Abstract
摘要： 近年来社交媒体逐渐成为人们获取新闻信息的主要渠道，但其在给人们带来方便的同时也促进了虚假新闻的传播.在社交媒体的富媒体化趋势下，虚假新闻逐渐由单一的文本形式向多模态形式转变，因此多模态虚假新闻检测正在受到越来越多的关注.现有的多模态虚假新闻检测方法大多依赖于和数据集高度相关的表现层面特征，对新闻的语义层面特征建模不足，难以理解文本和视觉实体的深层语义，在新数据上的泛化能力受限.提出了一种语义增强的多模态虚假新闻检测方法，通过利用预训练语言模型中隐含的事实知识以及显式的视觉实体提取，更好地理解多模态新闻的深层语义.提取不同语义层次的视觉特征，在此基础上采用文本引导的注意力机制建模图文之间的语义交互，从而更好地融合多模态异构特征.在基于微博新闻的真实数据集上的实验结果表明:该方法能够有效提高多模态虚假新闻检测的性能.
参考文献
相关文章 15
| [1] | 黄训华, 张凤斌, 樊好义, 席亮. 基于多模态对抗学习的无监督时间序列异常检测[J]. 计算机研究与发展, 2021, 58(8): 1655-1667. |
| [2] | 谢娟英, 鲁银圆, 孔维轩, 许升全. 基于改进RetinaNet的自然环境中蝴蝶种类识别[J]. 计算机研究与发展, 2021, 58(8): 1686-1704. |
| [3] | 刘凡, 王君锋, 陈峙宇, 许峰. 基于并行注意力UNet的裂缝检测方法[J]. 计算机研究与发展, 2021, 58(8): 1718-1726. |
| [4] | 陈慧敏, 金思辰, 林微, 朱泽宇, 仝凌波, 刘一芃, 叶奕宁, 姜维翰, 刘知远, 孙茂松, 金兼斌. 新冠疫情相关社交媒体谣言传播量化分析[J]. 计算机研究与发展, 2021, 58(7): 1366-1384. |
| [5] | 胡斗, 卫玲蔚, 周薇, 淮晓永, 韩冀中, 虎嵩林. 一种基于多关系传播树的谣言检测方法[J]. 计算机研究与发展, 2021, 58(7): 1395-1411. |
| [6] | 王成龙, 易江燕, 陶建华, 马浩鑫, 田正坤, 傅睿博. 基于全局-时频注意力网络的语音伪造检测[J]. 计算机研究与发展, 2021, 58(7): 1466-1475. |
| [7] | 廖海斌, 徐斌. 基于性别和年龄因子分析的鲁棒性人脸表情识别[J]. 计算机研究与发展, 2021, 58(3): 528-538. |
| [8] | 张燕咏, 张莎, 张昱, 吉建民, 段逸凡, 黄奕桐, 彭杰, 张宇翔. 基于多模态融合的自动驾驶感知及计算[J]. 计算机研究与发展, 2020, 57(9): 1781-1799. |
| [9] | 张世琨, 谢睿, 叶蔚, 陈龙. 基于关键词的代码自动摘要[J]. 计算机研究与发展, 2020, 57(9): 1987-2000. |
| [10] | 李梦莹, 王晓东, 阮书岚, 张琨, 刘淇. 基于双路注意力机制的学生成绩预测模型[J]. 计算机研究与发展, 2020, 57(8): 1729-1740. |
| [11] | 陈彦敏, 王皓, 马建辉, 杜东舫, 赵洪科. 基于层级注意力机制的互联网用户信用评估框架[J]. 计算机研究与发展, 2020, 57(8): 1755-1768. |
| [12] | 李若南, 李金宝. 一种无源被动室内区域定位方法的研究[J]. 计算机研究与发展, 2020, 57(7): 1381-1392. |
| [13] | 张艺璇, 郭斌, 刘佳琪, 欧阳逸, 於志文. 基于多级注意力机制网络的app流行度预测[J]. 计算机研究与发展, 2020, 57(5): 984-995. |
| [14] | 张莹莹, 钱胜胜, 方全, 徐常胜. 基于多模态知识感知注意力机制的问答方法[J]. 计算机研究与发展, 2020, 57(5): 1037-1045. |
| [15] | 程艳, 尧磊波, 张光河, 唐天伟, 项国雄, 陈豪迈, 冯悦, 蔡壮. 基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析[J]. 计算机研究与发展, 2020, 57(12): 2583-2595. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4456
