密集异构网络中基于强化学习的流量卸载算法

删除或更新信息，请邮件至freekaoyan#163.com(#换成@)

本站小编 Free考研考试/2022-01-01

王倩^1,2，聂秀山¹，尹义龙²

¹(山东财经大学计算机科学与技术学院济南 250014);²(山东大学齐鲁软件学院济南 250101) (qianwang@sdu.edu.cn)

出版日期: 2018-08-01

基金资助:国家自然科学基金项目(61573219,61671274)；山东省重点研发计划项目(2017CXGC1504)；山东省自然科学基金项目(ZR2017MF053)；中国博士后科学基金面上项目(2016M602141)；山东省高校优势学科人才团队培育计划 This work was supported by the National Natural Science Foundation of China (61573219, 61671274), Shandong Provincial Key Research and Development Plan (2017CXGC1504), the Natural Science Foundation of Shandong Province of China (ZR2017MF053), the China Postdoctoral Science Foundation (2016M602141), and the Fostering Project of Dominant Discipline and Talent Team of Shandong Province Higher Education Institutions.

A Reinforcement Learning Algorithm for Traffic Offloading in Dense Heterogeneous Network

Wang Qian^1,2, Nie Xiushan¹,Yin Yilong²

¹(Department of Computer Science and Technology, Shandong University of Finance and Economics, Jinan 250014);²(Software College, Shandong University, Jinan 250101)

Online: 2018-08-01

摘要/Abstract

摘要： 近年来互联网用户规模和网络流量呈现爆炸式的增长，不断逼近蜂窝移动通信网络的容量极限.流量卸载技术可充分利用现有网络，将蜂窝网络的部分流量卸载到空闲网络中，进行跨网协作实现对蜂窝网络容量的极大提升，可有效解决有限的无线带宽资源与海量高速业务需求的矛盾.将强化学习的思想引入流量卸载算法中，提出了一种异构网络中基于强化学习的流量卸载算法.该算法把流量卸载问题映射为一个强化学习问题.基于前一状态完成的动作，以WiFi网络吞吐量作为回报函数，准确地预测需卸载的流量，并计算当前网络的最大卸载量，寻找最佳的WiFi网络接入点(access point, AP)，并推导出最优的流量卸载判决规则，达到异构网络整体吞吐量最大化.仿真结果表明：基于Q学习的流量卸载算法可有效地实现自适应流量卸载控制规则，有效地避免过度卸载引起的碰撞冲突和系统性能急剧恶化，达到跨网协作的负载均衡点，在保证WiFi用户服务质量的条件下，最大限度地提高LTE系统吞吐量，保证密集异构网络的整体性能.

参考文献

相关文章 15

[1]	卢海峰, 顾春华, 罗飞, 丁炜超, 杨婷, 郑帅. 基于深度强化学习的移动边缘计算任务卸载研究[J]. 计算机研究与发展, 2020, 57(7): 1539-1554.
[2]	范浩, 徐光平, 薛彦兵, 高赞, 张桦. 一种基于强化学习的混合缓存能耗优化与评价[J]. 计算机研究与发展, 2020, 57(6): 1125-1139.
[3]	亓法欣, 童向荣, 于雷. 基于强化学习DQN的智能体信任增强[J]. 计算机研究与发展, 2020, 57(6): 1227-1238.
[4]	刘辰屹, 徐明伟, 耿男, 张翔. 基于机器学习的智能路由算法综述[J]. 计算机研究与发展, 2020, 57(4): 671-687.
[5]	王桂芝, 吕光宏, 贾吾财, 贾创辉, 张建申. 机器学习在SDN路由优化中的应用研究综述[J]. 计算机研究与发展, 2020, 57(4): 688-698.
[6]	吴金金, 刘全, 陈松, 闫岩. 一种权重平均值的深度双Q网络方法[J]. 计算机研究与发展, 2020, 57(3): 576-589.
[7]	陈红名,刘全,闫岩,何斌,姜玉斌,张琳琳. 基于经验指导的深度确定性多行动者-评论家算法[J]. 计算机研究与发展, 2019, 56(8): 1708-1720.
[8]	张文韬,汪璐,程耀东. 基于强化学习的Lustre文件系统的性能调优[J]. 计算机研究与发展, 2019, 56(7): 1578-1586.
[9]	章晓芳,周倩,梁斌,徐进. 一种自适应的多臂赌博机算法[J]. 计算机研究与发展, 2019, 56(3): 643-654.
[10]	张凯峰,俞扬. 基于逆强化学习的示教学习方法综述[J]. 计算机研究与发展, 2019, 56(2): 254-261.
[11]	白辰甲,刘鹏,赵巍,唐降龙. 基于TD-error自适应校正的深度Q学习主动采样方法[J]. 计算机研究与发展, 2019, 56(2): 262-280.
[12]	朱斐，吴文，刘全，伏玉琛. 一种最大置信上界经验采样的深度Q网络方法[J]. 计算机研究与发展, 2018, 55(8): 1694-1705.
[13]	张祖凡,王立沙,陈美铃. 基于D2D对分组的TDD系统资源分配算法[J]. 计算机研究与发展, 2017, 54(5): 961-968.
[14]	胡晴,吕世超,石志强,孙利民,肖亮. 基于专家系统的高级持续性威胁云端检测博弈[J]. 计算机研究与发展, 2017, 54(10): 2344-2355.
[15]	张必英, 陈红松, 崔刚, 傅忠传. 温度约束多核处理器最大稳态吞吐量分析[J]. 计算机研究与发展, 2015, 52(9): 2083-2093.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3749