(福州大学数学与计算机科学学院 福州 350108) (yilei@fzu.edu.cn)
出版日期: 2018-12-01基金资助:福建省自然科学基金项目(2018J01779)Question Answering Algorithm on Image Fragmentation Information Based on Deep Neural Network
Wang Yilei, Zhuo Yifan, Wu Yingjie, Chen Mingqin(College of Mathematics and Computer Science, Fuzhou University, Fuzhou 350108)
Online: 2018-12-01摘要/Abstract
摘要： 大量结构无序、内容片面的碎片化信息以文本、图像、视频、网页等不同模态的形式，高度分散存储在不同数据源中，现有的研究通过构建视觉问答系统(visual question answering, VQA)，实现对多模态碎片化信息的提取、表达和理解.视觉问答任务给定与图像相关的一个问题，推理相应的答案.在视觉问答任务的基本背景下，以设计出完备的图像碎片化信息问答的框架与算法为目标，重点研究包括图像特征提取、问题文本特征提取、多模态特征融合和答案推理的模型与算法.构建深度神经网络模型提取用于表示图像与问题信息的特征，结合注意力机制与变分推断方法关联图像与问题2种模态特征并推理答案.实验结果表明：该模型能够有效提取和理解多模态碎片化信息，并提高视觉问答任务的准确率.
参考文献
相关文章 15
| [1] | 吴宗友, 白昆龙, 杨林蕊, 王仪琦, 田英杰. 电子病历文本挖掘研究综述[J]. 计算机研究与发展, 2021, 58(3): 513-527. |
| [2] | 廖海斌, 徐斌. 基于性别和年龄因子分析的鲁棒性人脸表情识别[J]. 计算机研究与发展, 2021, 58(3): 528-538. |
| [3] | 刘颖, 杨轲. 基于深度集成学习的类极度不均衡数据信用欺诈检测算法[J]. 计算机研究与发展, 2021, 58(3): 539-547. |
| [4] | 付章杰, 李恩露, 程旭, 黄永峰, 胡雨婷. 基于深度学习的图像隐写研究进展[J]. 计算机研究与发展, 2021, 58(3): 548-568. |
| [5] | 周鹏, 武延军, 赵琛. 一种融合程序员和神经网络的自动化程序生成方法[J]. 计算机研究与发展, 2021, 58(3): 638-650. |
| [6] | 古天龙, 冯旋, 李龙, 包旭光, 李云辉. 基于社会新闻数据集的伦理行为判别方法[J]. 计算机研究与发展, 2021, 58(2): 253-263. |
| [7] | 陈晋音, 陈奕芃, 陈一鸣, 郑海斌, 纪守领, 时杰, 程瑶. 面向深度学习的公平性研究综述[J]. 计算机研究与发展, 2021, 58(2): 264-280. |
| [8] | 李金鹏, 张闯, 陈小军, 胡玥, 廖鹏程. 自动文本摘要研究综述[J]. 计算机研究与发展, 2021, 58(1): 1-21. |
| [9] | 孟子尧, 谷雪, 梁艳春, 许东, 吴春国. 深度神经架构搜索综述[J]. 计算机研究与发展, 2021, 58(1): 22-33. |
| [10] | 朱泓睿, 元国军, 姚成吉, 谭光明, 王展, 户忠哲, 张晓扬, 安学军. 分布式深度学习训练网络综述[J]. 计算机研究与发展, 2021, 58(1): 98-115. |
| [11] | 曾碧卿, 曾锋, 韩旭丽, 商齐. 基于交互特征表示的评价对象抽取模型[J]. 计算机研究与发展, 2021, 58(1): 224-232. |
| [12] | 陈珂锐, 孟小峰. 机器学习的可解释性[J]. 计算机研究与发展, 2020, 57(9): 1971-1986. |
| [13] | 陈彦敏, 王皓, 马建辉, 杜东舫, 赵洪科. 基于层级注意力机制的互联网用户信用评估框架[J]. 计算机研究与发展, 2020, 57(8): 1755-1768. |
| [14] | 林培光, 周佳倩, 温玉莲. SCONV：一种基于情感分析的金融市场趋势预测方法[J]. 计算机研究与发展, 2020, 57(8): 1769-1778. |
| [15] | 李若南, 李金宝. 一种无源被动室内区域定位方法的研究[J]. 计算机研究与发展, 2020, 57(7): 1381-1392. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3825
