1(空天信息安全与可信计算教育部重点实验室，武汉大学国家网络安全学院 武汉 430072);2(阿伯丁大学 苏格兰阿伯丁 AB24 3FX) (liujinshuo@whu.edu.cn)
出版日期: 2020-11-01基金资助:国家自然科学基金项目(U1936107,6187613,61672393)MSRD: Multi-Modal Web Rumor Detection Method
Liu Jinshuo1, Feng Kuo1, Jeff Z. Pan2, Deng Juan1, Wang Lina11(Key Laboratory of Aerospace Information Security and Trusted Computing，Ministry of Education, School of Cyber Science and Engineering, Wuhan University, Wuhan 430072);2(University of Aberdeen, Aberdeen, Scotland AB24 3FX)
Online: 2020-11-01Supported by:This work was supported by the National Natural Science Foundation of China (U1936107, 6187613, 61672393).摘要/Abstract
摘要： 图像和文本相结合的多模态网络谣言由于更具迷惑性和煽动性，对国家安全和社会稳定的危害性更严重.目前网络谣言检测工作充分考虑了谣言中配文的文本内容而忽略了图像内容以及图像中的内嵌文本内容，因此，提出了一种基于深度神经网络针对图像、图像内嵌文本以及配文文本内容的多模态网络谣言检测方法MSRD.该方法使用VGG-19网络提取图像内容特征，使用DenseNet提取图像内嵌文本内容，使用LSTM网络提取文本内容特征，与图像特征串接后，通过完全连接层获取图像与文本共享表示的均值与方差向量,借助从高斯分布中采样的随机变量以形成重新参数化的多模态特征并作为谣言检测器的输入进行谣言检测.实验表明:该方法在Twitter和微博两大数据集上达到了68.5%和79.4%的准确率.
参考文献
相关文章 15
| [1] | 吴宗友, 白昆龙, 杨林蕊, 王仪琦, 田英杰. 电子病历文本挖掘研究综述[J]. 计算机研究与发展, 2021, 58(3): 513-527. |
| [2] | 曾碧卿, 曾锋, 韩旭丽, 商齐. 基于交互特征表示的评价对象抽取模型[J]. 计算机研究与发展, 2021, 58(1): 224-232. |
| [3] | 张燕咏, 张莎, 张昱, 吉建民, 段逸凡, 黄奕桐, 彭杰, 张宇翔. 基于多模态融合的自动驾驶感知及计算[J]. 计算机研究与发展, 2020, 57(9): 1781-1799. |
| [4] | 李冬梅, 张扬, 李东远, 林丹琼. 实体关系抽取方法研究综述[J]. 计算机研究与发展, 2020, 57(7): 1424-1448. |
| [5] | 蓝天, 彭川, 李森, 叶文政, 李萌, 惠国强, 吕忆蓝, 钱宇欣, 刘峤. 单声道语音降噪与去混响研究综述[J]. 计算机研究与发展, 2020, 57(5): 928-953. |
| [6] | 张莹莹, 钱胜胜, 方全, 徐常胜. 基于多模态知识感知注意力机制的问答方法[J]. 计算机研究与发展, 2020, 57(5): 1037-1045. |
| [7] | 孙胜, 李叙晶, 刘敏, 杨博, 过晓冰. 面向异构IoT设备协作的DNN推断加速研究[J]. 计算机研究与发展, 2020, 57(4): 709-722. |
| [8] | 马陈城, 杜学绘, 曹利峰, 吴蓓. 基于深度神经网络burst特征分析的网站指纹攻击方法[J]. 计算机研究与发展, 2020, 57(4): 746-766. |
| [9] | 赵洪科,吴李康,李徵,张兮,刘淇,陈恩红. 基于深度神经网络结构的互联网金融市场动态预测[J]. 计算机研究与发展, 2019, 56(8): 1621-1631. |
| [10] | 王瑞琴,吴宗大,蒋云良,楼俊钢. 一种基于两阶段深度学习的集成推荐模型[J]. 计算机研究与发展, 2019, 56(8): 1661-1669. |
| [11] | 苏锦钿,欧阳志凡,余珊珊. 基于依存树及距离注意力的句子属性情感分类[J]. 计算机研究与发展, 2019, 56(8): 1731-1745. |
| [12] | 蔡国永，吕光瑞，徐智. 基于层次化深度关联融合网络的社交媒体情感分类[J]. 计算机研究与发展, 2019, 56(6): 1312-1324. |
| [13] | 张龙,王劲松. SDN中基于信息熵与DNN的DDoS攻击检测模型[J]. 计算机研究与发展, 2019, 56(5): 909-918. |
| [14] | 奠雨洁,金琴. 视听相关的多模态概念检测[J]. 计算机研究与发展, 2019, 56(5): 1071-1081. |
| [15] | 武铮,安虹,金旭,迟孟贤,吕国锋,文可,周鑫. 基于Intel平台的Winograd快速卷积算法研究与优化[J]. 计算机研究与发展, 2019, 56(4): 825-835. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4292
