1(中国人民解放军陆军炮兵防空兵学院信息工程系 合肥 230031);2(中国人民解放军陆军工程大学指挥控制工程学院 南京 210007) (dcc18851507462@163.com)
出版日期: 2020-08-01基金资助:国家自然科学基金项目(61673394);安徽省自然科学基金项目(1908085MF193)A Unified Momentum Method with Triple-Parameters and Its Optimal Convergence Rate
Ding Chengcheng1, Tao Wei2, Tao Qing11(Department of Information Engineering, Army Academy of Artillery and Air Defense of PLA, Hefei 230031);2(College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007)
Online: 2020-08-01Supported by:This work was supported by the National Natural Science Foundation of China (61673394) and the Natural Science Foundation of Anhui Province (1908085MF193).摘要/Abstract
摘要： 动量方法由于能够改善SGD(stochastic gradient descent)的收敛性能而倍受机器学习研究者的关注.随着其在深度学习的成功应用,动量方法出现了众多形式的变体.特别地,产生了SUM(stochastic unified momentum)和QHM(quasi-hyperbolic momentum)两种统一框架.但是,即使是对非光滑凸优化问题,其最优平均收敛性的获得仍然存在着固定迭代步数和无约束等不合理限制.为此,提出了一种更一般的含三参数的统一化动量方法TPUM(triple-parameters unified momentum),能够同时包含SUM和QHM;其次,针对约束的非光滑凸优化问题,在采取时变步长的条件下,证明了所提出的TPUM具有最优的平均收敛速率,并将其推广到随机情况,从而保证了添加动量不会影响标准梯度下降法的收敛性能以及动量方法对机器学习问题的可应用性.典型的L1范数约束hinge损失函数优化问题实验验证了理论分析的正确性.
参考文献
相关文章 15
| [1] | 吴宗友, 白昆龙, 杨林蕊, 王仪琦, 田英杰. 电子病历文本挖掘研究综述[J]. 计算机研究与发展, 2021, 58(3): 513-527. |
| [2] | 陈晋音, 陈奕芃, 陈一鸣, 郑海斌, 纪守领, 时杰, 程瑶. 面向深度学习的公平性研究综述[J]. 计算机研究与发展, 2021, 58(2): 264-280. |
| [3] | 于畅, 王雅文, 林欢, 宫云战. 基于故障检测上下文的等价变异体识别算法[J]. 计算机研究与发展, 2021, 58(1): 83-97. |
| [4] | 李双峰. TensorFlow Lite：端侧机器学习框架[J]. 计算机研究与发展, 2020, 57(9): 1839-1853. |
| [5] | 陈珂锐, 孟小峰. 机器学习的可解释性[J]. 计算机研究与发展, 2020, 57(9): 1971-1986. |
| [6] | 贺一笑, 庞明, 姜远. 蒙德里安深度森林[J]. 计算机研究与发展, 2020, 57(8): 1594-1604. |
| [7] | 李冬梅, 张扬, 李东远, 林丹琼. 实体关系抽取方法研究综述[J]. 计算机研究与发展, 2020, 57(7): 1424-1448. |
| [8] | 陶涛, 孙玉娥, 陈冬梅, 杨文建, 黄河, 罗永龙. 一种基于智能手机传感器数据的地图轮廓生成方法[J]. 计算机研究与发展, 2020, 57(7): 1490-1507. |
| [9] | 郭羽含, 张宇, 沈学利, 于俊宇. 即时车辆共乘问题的多策略解空间图搜索算法[J]. 计算机研究与发展, 2020, 57(6): 1269-1283. |
| [10] | 蓝天, 彭川, 李森, 叶文政, 李萌, 惠国强, 吕忆蓝, 钱宇欣, 刘峤. 单声道语音降噪与去混响研究综述[J]. 计算机研究与发展, 2020, 57(5): 928-953. |
| [11] | 刘辰屹, 徐明伟, 耿男, 张翔. 基于机器学习的智能路由算法综述[J]. 计算机研究与发展, 2020, 57(4): 671-687. |
| [12] | 周文, 张世琨, 丁勇, 陈曦. 面向低维工控网数据集的对抗样本攻击分析[J]. 计算机研究与发展, 2020, 57(4): 736-745. |
| [13] | 王艳, 李念爽, 王希龄, 钟凤艳. 编码技术改进大规模分布式机器学习性能综述[J]. 计算机研究与发展, 2020, 57(3): 542-561. |
| [14] | 刘俊旭, 孟小峰. 机器学习的隐私保护研究综述[J]. 计算机研究与发展, 2020, 57(2): 346-362. |
| [15] | 程光, 钱德鑫, 郭建伟, 史海滨, 吴桦, 赵玉宇. 基于散度的网络流概念漂移分类方法[J]. 计算机研究与发展, 2020, 57(12): 2673-2682. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4227
