冯钢2,
何颖2,
周杨3
1.重庆理工大学计算机科学与工程学院 重庆 200433
2.电子科技大学通信抗干扰技术国家级重点实验室 成都 710077
3.奥本大学计算机科学与软件工程学院 美国阿拉巴马州 奥本市 36849
基金项目:国家自然科学基金(61471089, 61401076)
详细信息
作者简介:陈卓：男，1980年生，副教授，博士，硕士生导师，研究方向为网络虚拟化和软件定义网络
冯钢：男，1964年生，教授，博士生导师，研究方向为计算机网络和无线接入网技术
何颖：女，1993年生，硕士生，研究方向网络虚拟化技术
通讯作者:陈卓 chenzhuo@cqut.edu.cn
中图分类号:TN915; TP393计量
文章访问数:801
HTML全文浏览量:353
PDF下载量:68
被引次数:0
出版历程
收稿日期:2019-07-18
修回日期:2020-06-14
网络出版日期:2020-07-14
刊出日期:2020-09-27
Deep Reinforcement Learning Based Migration Mechanism for Service Function Chain in Operator Networks
Zhuo CHEN1, 2,,,Gang FENG2,
Ying HE2,
Yang ZHOU3
1. College of Computer Science and Engineering, Chongqing University of Technology,Chongqing 200433, China
2. National Key Laboratory of Science and Technology on Communications, University of Electronic Science and Technology of China, Chengdu 710077, China
3. Department of Computer Science and Software Engineering, Auburn University, Auburn 36849, United States of America
Funds:The National Natural Science Foundation of China (61471089, 61401076)
摘要
摘要:为改善运营商网络提供的移动服务体验，该文研究服务功能链(SFC)的在线迁移问题。首先基于马尔可夫决策过程(MDP)对服务功能链中的多个虚拟网络功能(VNF)在运营商网络中的驻留位置迁移进行模型化分析。通过将强化学习和深度神经网络相结合提出一种基于双深度Q网络(double DQN)的服务功能链迁移机制，该迁移方法能在连续时间下进行服务功能链的在线迁移决策并避免求解过程中的过度估计。实验结果表明，该文所提出的策略相比于固定部署算法和贪心算法在端到端时延和网络系统收益等方面优势明显，有助于运营商改善服务体验和资源的使用效率。
关键词:运营商网络/
迁移机制/
深度强化学习/
服务功能链
Abstract:To improve the service experience provided by the operator network, this paper studies the online migration of Service Function Chain(SFC). Based on the Markov Decision Process(MDP), modeling analysis is performed on the migration of multiple Virtual Network Functions(VNF) in SFC. By combining reinforcement learning and deep neural networks, a double Deep Q-Network(double DQN) based service function chain migration mechanism is proposed. This method can make online migration decisions and avoid over-estimation. Experimental result shows that when compared with the fixed deployment algorithm and the greedy algorithm, the double DQN based SFC migration mechanism has obvious advantages in end-to-end delay and network system revenue, which can help the mobile operator to improve the quality of experience and the efficiency of resources usage.
Key words:Operator network/
Migration mechanism/
Deep Reinforcement Learning (DRL)/
Service Function Chain (SFC)
PDF全文下载地址:
https://jeit.ac.cn/article/exportPdf?id=aeb5507d-f838-47f4-b5b1-1c28d095cfcb
