余显^1,2,李振宇¹,孙胜^1,2,张广兴¹,刁祖龙¹,谢高岗¹

¹（中国科学院计算技术研究所 北京 100190）；²（中国科学院大学 北京 100049) (yuxian@ict.ac.cn)

出版日期: 2021-12-01


基金资助:国家自然科学基金项目(61725206,U20A20180)；中科院奥地利合作项目(171111KYSB20200001)

Adaptive Virtual Machine Consolidation Method Based on Deep Reinforcement Learning

Yu Xian^1,2, Li Zhenyu¹, Sun Sheng^1,2, Zhang Guangxing¹, Diao Zulong¹, Xie Gaogang¹

¹（Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190);²(University of Chinese Academy of Sciences, Beijing 100049)

Online: 2021-12-01


Supported by:This work was supported by the National Natural Science Foundation of China (61725206, U20A20180), and the CAS-Austria Project Plan (171111KYSB20200001).

摘要/Abstract

摘要： 能耗限制的服务质量优化问题一直以来都是数据中心虚拟机资源管理所面临的巨大挑战之一.尽管现有的工作通过虚拟机整合技术一定程度上降低了能耗和提升了系统服务质量，但这些方法通常难以实现长期最优的管理目标，并且容易受到业务场景变化的影响，面临变更困难以及管理成本高等难题.针对数据中心虚拟机资源管理存在的能耗和服务质量长期最优难保证以及策略调整灵活性差的问题，提出了一种基于深度强化学习的自适应虚拟机整合方法(deep reinforcement learning-based adaptive virtual machine consolidation method, RA-VMC).该方法利用张量化状态表示、确定性动作输出、卷积神经网络和加权奖赏机制构建了从数据中心系统状态到虚拟机迁移策略的端到端决策模型；设计自动化状态生成机制和反向梯度限定机制以改进深度确定性策略梯度算法，加快虚拟机迁移决策模型的收敛速度并且保证近似最优的管理性能.基于真实虚拟机负载数据的仿真实验结果表明：与开源云平台中流行的虚拟机整合方法相比，该方法能够有效地降低能耗和提高系统的服务质量.

参考文献

相关文章 15

[1]	王原, 陈名, 邢立宁, 吴亚辉, 马武彬, 赵宏. 用于求解旅行商问题的深度智慧型蚁群优化算法[J]. 计算机研究与发展, 2021, 58(8): 1586-1598.
[2]	孙鹏浩, 兰巨龙, 申涓, 胡宇翔. 基于牵引控制的深度强化学习路由策略生成[J]. 计算机研究与发展, 2021, 58(7): 1563-1572.
[3]	龙赛琴, 黄金娜, 李哲涛, 裴廷睿, 夏元清. 面向云网融合的数据中心能效评估方法[J]. 计算机研究与发展, 2021, 58(6): 1248-1260.
[4]	王璐, 张健浩, 王廷, 伍楷舜. 面向云网融合的细粒度多接入边缘计算架构[J]. 计算机研究与发展, 2021, 58(6): 1275-1290.
[5]	王然, 张宇超, 王文东, 徐恪, 崔来中. 基于预测的数据中心间混合流量调度算法[J]. 计算机研究与发展, 2021, 58(6): 1307-1317.
[6]	林霄, 姬硕, 岳胜男, 孙卫强, 胡卫生. 面向跨数据中心网络的节点约束存储转发调度方法[J]. 计算机研究与发展, 2021, 58(2): 319-337.
[7]	王金永, 黄志球, 杨德艳, Xiaowei, Huang, 祝义, 华高洋. 面向无人驾驶时空同步约束制导的安全强化学习[J]. 计算机研究与发展, 2021, 58(12): 2585-2603.
[8]	时洋, 文梅, 费佳伟, 张春元. 一种基于DAG的网络流量调度器[J]. 计算机研究与发展, 2021, 58(12): 2798-2810.
[9]	卢海峰, 顾春华, 罗飞, 丁炜超, 杨婷, 郑帅. 基于深度强化学习的移动边缘计算任务卸载研究[J]. 计算机研究与发展, 2020, 57(7): 1539-1554.
[10]	范浩, 徐光平, 薛彦兵, 高赞, 张桦. 一种基于强化学习的混合缓存能耗优化与评价[J]. 计算机研究与发展, 2020, 57(6): 1125-1139.
[11]	亓法欣, 童向荣, 于雷. 基于强化学习DQN的智能体信任增强[J]. 计算机研究与发展, 2020, 57(6): 1227-1238.
[12]	刘辰屹, 徐明伟, 耿男, 张翔. 基于机器学习的智能路由算法综述[J]. 计算机研究与发展, 2020, 57(4): 671-687.
[13]	王桂芝, 吕光宏, 贾吾财, 贾创辉, 张建申. 机器学习在SDN路由优化中的应用研究综述[J]. 计算机研究与发展, 2020, 57(4): 688-698.
[14]	张圣林, 李东闻, 孙永谦, 孟伟彬, 张宇哲, 张玉志, 刘莹, 裴丹. 面向云数据中心多语法日志通用异常检测机制[J]. 计算机研究与发展, 2020, 57(4): 778-790.
[15]	吴金金, 刘全, 陈松, 闫岩. 一种权重平均值的深度双Q网络方法[J]. 计算机研究与发展, 2020, 57(3): 576-589.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4551