程禹嘉¹,陶蔚²,刘宇翔¹,陶卿¹

¹(中国人民解放军陆军炮兵防空兵学院信息工程系 合肥 230031);²(中国人民解放军陆军工程大学指挥控制工程学院 南京 210007) (m13776555321@163.com)

出版日期: 2019-08-01


基金资助:国家自然科学基金项目(61673394)

Optimal Individual Convergence Rate of the Heavy-Ball-Based Momentum Methods

Cheng Yujia¹, Tao Wei², Liu Yuxiang¹, Tao Qing¹

¹(Department of Information Engineering, Army Academy of Artillery and Air Defense of PLA, Hefei 230031);²(College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007)

Online: 2019-08-01

摘要/Abstract

摘要： 动量方法作为一种加速技巧被广泛用于提高一阶梯度优化算法的收敛速率.目前，大多数文献所讨论的动量方法仅限于Nesterov提出的加速方法，而对Polyak提出的Heavy-ball型动量方法的研究却较少.特别，在目标函数非光滑的情形下，Nesterov加速方法具有最优的个体收敛性，并在稀疏优化问题的求解中具有很好的效果.但对于Heavy-ball型动量方法，目前仅仅获得了平均输出形式的最优收敛速率，个体收敛是否具有最优性仍然未知.对于非光滑优化问题，通过巧妙地设置步长，证明了Heavy-ball型动量方法具有最优的个体收敛速率，从而说明了Heavy-ball型动量方法可以将投影次梯度方法的个体收敛速率加速至最优.作为应用，考虑了l\-1范数约束的hinge损失函数优化问题.通过与同类的优化算法相比，实验验证了该理论分析的正确性以及所提算法在保持稀疏性方面的良好性能.

参考文献

相关文章 5

[1]	丁成诚, 陶蔚, 陶卿. 一种三参数统一化动量方法及其最优收敛速率[J]. 计算机研究与发展, 2020, 57(8): 1571-1580.
[2]	陶蔚,潘志松,朱小辉,陶卿. 线性插值投影次梯度方法的最优个体收敛速率[J]. 计算机研究与发展, 2017, 54(3): 529-536.
[3]	姜纪远,夏良,章显,陶卿. 一种具有O(1/T)收敛速率的稀疏随机算法[J]. 计算机研究与发展, 2014, 51(9): 1901-1910.
[4]	孔 康, 陶 卿, 汪群山, 储德军,. 基于次梯度的L1正则化Hinge损失问题求解研究[J]. , 2012, 49(7): 1494-1499.
[5]	方 红, 章权兵, 韦 穗,. 基于亚高斯随机投影的图像重建方法[J]. , 2008, 45(8): 1402-1407.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3987