程大宁^1,2,张汉平^3,5,夏粉³,李士刚⁴,袁良²,张云泉²

¹(中国科学院大学 北京 100190);²(中国科学院计算技术研究所 北京 100190);³(智铀科技有限公司 北京 100190);⁴(苏黎世理工大学 瑞士苏黎世8914);⁵(纽约州立大学布法罗分校 纽约 14260) (chengdaning@ict.ac.cn)

出版日期: 2020-12-01


基金资助:国家自然科学基金项目(61432018,61521092,61272136,61521092,61502450)；国家重点研发计划项目(2016YFB0200803)；北京自然科学基金项目(L1802053)

AccSMBO: Using Hyperparameters Gradient and Meta-Learning to Accelerate SMBO

Cheng Daning^1,2, Zhang Hanping^3,5, Xia Fen³, Li Shigang⁴, Yuan Liang², Zhang Yunquan²

¹(University of Chinese Academy of Sciences, Beijing 100190);²(Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190);³(Wisdom Uranium Technology Co. Ltd, Beijing 100190);⁴(Swiss Federal Institute of Technology Zurich, Zurich, Switzerland 8914);⁵(University at Buffalo, The State University of New York, New York 14260)

Online: 2020-12-01


Supported by:This work was supported by the National Natural Science Foundation of China (61432018, 61521092, 61272136, 61521092, 61502450), the National Key Research and Development Program of China (2016YFB0200803), and the Beijing Natural Science Foundation (L1802053).

摘要/Abstract

摘要： 为了利用最佳超参高概率范围和超参梯度，提出了加速的序列模型优化算法(sequential model-based optimization algorithms, SMBO)——AccSMBO算法.AccSMBO使用了具有良好抗噪能力的基于梯度的多核高斯过程回归方法，利用元学习数据集的meta-acquisition函数.AccSMBO自然对应的并行算法则使用了基于元学习数据集的并行算法资源调度方案.基于梯度的多核高斯过程回归可以避免超参梯度噪音对拟合高斯过程的影响，加快构建较好超参-效果模型的速度.meta-acquisition函数通过读取元学习数据集，总结最佳超参高概率范围，加快最优超参搜索.在AccSMBO自然对应的并行算法中，并行资源调度方法使更多的并行计算资源用于计算最佳超参高概率范围中的超参，更快探索最佳超参高概率范围.上述3个技术充分利用超参梯度和最佳超参高概率范围加速SMBO算法.在实验中，相比于基于传统的SMBO算法实现的SMAC(sequential model-based algorithm configuration)算法、基于梯度下降的HOAG(hyperparameter optimization with approximate gradient)算法和常用的随机搜索算法，AccSMBO使用最少的资源找到了效果最好的超参.

参考文献

相关文章 15

[1]	张永, 陈蓉蓉, 张晶. 基于交叉熵的安全Tri-training算法[J]. 计算机研究与发展, 2021, 58(1): 60-69.
[2]	董业, 侯炜, 陈小军, 曾帅. 基于秘密分享和梯度选择的高效安全联邦学习[J]. 计算机研究与发展, 2020, 57(10): 2241-2250.
[3]	陈珂锐, 孟小峰. 机器学习的可解释性[J]. 计算机研究与发展, 2020, 57(9): 1971-1986.
[4]	丁成诚, 陶蔚, 陶卿. 一种三参数统一化动量方法及其最优收敛速率[J]. 计算机研究与发展, 2020, 57(8): 1571-1580.
[5]	王婕婷, 钱宇华, 李飞江, 刘郭庆. 消除随机一致性的支持向量机分类方法[J]. 计算机研究与发展, 2020, 57(8): 1581-1593.
[6]	贺一笑, 庞明, 姜远. 蒙德里安深度森林[J]. 计算机研究与发展, 2020, 57(8): 1594-1604.
[7]	鞠卓亚, 王志海. 基于选择性模式的贝叶斯分类算法[J]. 计算机研究与发展, 2020, 57(8): 1605-1616.
[8]	孟银凤, 梁吉业. 线性正则化函数Logistic模型[J]. 计算机研究与发展, 2020, 57(8): 1617-1626.
[9]	孙肖依, 刘华锋, 景丽萍, 于剑. 基于列表级排序的深度生成推荐方法[J]. 计算机研究与发展, 2020, 57(8): 1697-1706.
[10]	刘兴波, 聂秀山, 尹义龙. 基于双向线性回归的监督离散跨模态散列方法[J]. 计算机研究与发展, 2020, 57(8): 1707-1714.
[11]	杜圣东, 李天瑞, 杨燕, 王浩, 谢鹏, 洪西进. 一种基于序列到序列时空注意力学习的交通流预测模型[J]. 计算机研究与发展, 2020, 57(8): 1715-1728.
[12]	赵霞, 张泽华, 张晨威, 李娴. RGNE：粗糙粒化的网络嵌入式重叠社区发现方法[J]. 计算机研究与发展, 2020, 57(6): 1302-1311.
[13]	董轶群, 刘建东, 徐文星, 王淑鸿. 一种基于OPRA\-4方向关系推理定性距离变化的方法[J]. 计算机研究与发展, 2020, 57(5): 971-983.
[14]	王子晔, 苗夺谦, 赵才荣, 罗晟, 卫志华. 基于多粒度特征的行人跟踪检测结合算法[J]. 计算机研究与发展, 2020, 57(5): 996-1002.
[15]	陈嘉颖, 于炯, 杨兴耀. 一种融合语义分析特征提取的推荐算法[J]. 计算机研究与发展, 2020, 57(3): 562-575.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4313