李胜东^1,2,吕学强³

¹(中国人民大学信息学院 北京 100872); ²(廊坊燕京职业技术学院计算机工程系 河北廊坊 065200); ³(网络文化与数字传播北京市重点实验室(北京信息科技大学) 北京 100101) (lsd@ruc.edu.cn)

出版日期: 2019-05-01


基金资助:国家自然科学基金项目(61671070);国家语委十三五科研规划2017年度重点项目(ZDI135-53);网络文化与数字传播北京市重点实验室开放课题(ICDD201505)

Static Restart Stochastic Gradient Descent Algorithm Based on Image Question Answering

Li Shengdong^1,2, Lü Xueqiang³

¹(School of Information, Renmin University of China, Beijing 100872); ²(Department of Computer Engineering, Langfang Yanjing Vocational Technical College, Langfang, Hebei 065200); ³(Beijing Key Laboratory of Internet Culture and Digital Dissemination Research(Beijing Information Science and Technology University), Beijing 100101)

Online: 2019-05-01

摘要/Abstract

摘要： 图片问答是计算机视觉与自然语言处理交叉的多模态学习任务.为了解决该任务，研究人员提出堆叠注意力网络(stacked attention networks, SANs).研究发现该模型易陷入不好的局部最优解，引发较高的问答错误率.为了解决该问题，提出基于图片问答的静态重启随机梯度下降算法.实验结果和分析表明：它的准确率比基准算法提高0.29%，但其收敛速度慢于基准算法.为了验证改善性能的显著性，对实验结果进行统计假设检验.T检验结果证明它的改善性能是极其显著的.为了验证它在同类算法中的有效性，将该算法和当前最好的一阶优化算法进行有效性实验,实验结果和分析证明它更有效.为了验证它的泛化性能和推广价值，在经典的Cifar-10数据集上进行图像识别实验.实验结果和T检验结果证明:它具有良好的泛化性能和较好的推广价值.

参考文献

相关文章 4

[1]	丁成诚, 陶蔚, 陶卿. 一种三参数统一化动量方法及其最优收敛速率[J]. 计算机研究与发展, 2020, 57(8): 1571-1580.
[2]	程禹嘉,陶蔚,刘宇翔,陶卿. Heavy-Ball型动量方法的最优个体收敛速率[J]. 计算机研究与发展, 2019, 56(8): 1686-1694.
[3]	纪泽宇,张兴军,付哲,高柏松,李靖波. 分布式深度学习框架下基于性能感知的DBS-SGD算法[J]. 计算机研究与发展, 2019, 56(11): 2396-2409.
[4]	贺敏,杜攀,张瑾,刘悦,程学旗. 基于动量模型的微博突发话题检测方法[J]. 计算机研究与发展, 2015, 52(5): 1022-1028.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3934