范浩^1,2,徐光平^1,2,薛彦兵^1,2,高赞^1,2,张桦³

¹(天津理工大学计算机科学与工程学院 天津 300384);²(智能计算及软件新技术天津市重点实验室(天津理工大学) 天津 300384);³(天津中德应用技术大学 天津 300350) (fan-h@outlook.com)

出版日期: 2020-06-01


基金资助:国家自然科学基金项目(61971309)；天津自然科学基金项目(17JCYBJC15600，18JCYBJC84800)

An Energy Consumption Optimization and Evaluation for Hybrid Cache Based on Reinforcement Learning

Fan Hao^1,2, Xu Guangping^1,2, Xue Yanbing^1,2, Gao Zan^1,2, Zhang Hua³

¹(School of Computer Science and Engineering, Tianjin University of Technology, Tianjin 300384);²(Tianjin Key Laboratory of Intelligence Computing and Novel Software Technology(Tianjin University of Technology), Tianjin 300384);³(Tianjin Sino-German University of Applied Sciences, Tianjin 300350)

Online: 2020-06-01


Supported by:This work was supported by the National Natural Science Foundation of China (61971309) and the Tianjin Natural Science Foundation (17JCYBJC15600, 18JCYBJC84800).

摘要/Abstract

摘要： 新兴的非易失存储器STT-RAM具有低泄漏功率、高密度和快速读取速度、高写入能量等特点；而SRAM具有高泄漏功率、低密度、快速读取写入速度、低写入能量等特点.SRAM和STT-RAM相结合组成的混合缓存充分发挥了两者的性能，提供了比SRAM更低的泄漏功率和更高的单元密度，比STT-RAM更高的写入速度和更低的写入能量.混合缓存结构主要是通过把写密集数据放入SRAM中、读密集型数据放入STT-RAM中发挥这2种存储器的性能.因此如何识别并分配读写密集型数据是混合缓存设计的关键挑战.利用缓存访问请求的写入强度和重用信息，提出一种基于强化学习的缓存管理方法，设计缓存分配策略优化能耗.关键思想是使用强化学习对得到的缓存行(cache line)集合的能耗进行学习，得到该集合分配到SRAM或者STT-RAM的权重，将集合中的缓存行分配到权重大的区域.实验评估表明：提出的策略与以前的策略相比，在单核(四核)系统中能耗平均降低了16.9％(9.7％).

参考文献

相关文章 15

[1]	胡晓艳, 童钟奇, 徐恪, 张国强, 郑少琦, 赵丽侠, 程光, 龚俭. 命名数据网络中的视频传输研究综述[J]. 计算机研究与发展, 2021, 58(1): 116-136.
[2]	卢海峰, 顾春华, 罗飞, 丁炜超, 杨婷, 郑帅. 基于深度强化学习的移动边缘计算任务卸载研究[J]. 计算机研究与发展, 2020, 57(7): 1539-1554.
[3]	张军, 谢竟成, 沈凡凡, 谭海, 汪吕蒙, 何炎祥. 通用图形处理器缓存子系统性能优化方法综述[J]. 计算机研究与发展, 2020, 57(6): 1191-1207.
[4]	亓法欣, 童向荣, 于雷. 基于强化学习DQN的智能体信任增强[J]. 计算机研究与发展, 2020, 57(6): 1227-1238.
[5]	刘辰屹, 徐明伟, 耿男, 张翔. 基于机器学习的智能路由算法综述[J]. 计算机研究与发展, 2020, 57(4): 671-687.
[6]	王桂芝, 吕光宏, 贾吾财, 贾创辉, 张建申. 机器学习在SDN路由优化中的应用研究综述[J]. 计算机研究与发展, 2020, 57(4): 688-698.
[7]	苗新亮, 蒋烈辉, 常瑞. 访问驱动下的Cache侧信道攻击研究综述[J]. 计算机研究与发展, 2020, 57(4): 824-835.
[8]	吴金金, 刘全, 陈松, 闫岩. 一种权重平均值的深度双Q网络方法[J]. 计算机研究与发展, 2020, 57(3): 576-589.
[9]	李黎, 柳寰宇, 鲁来凤. 基于内容中心性的概率缓存内容放置方法[J]. 计算机研究与发展, 2020, 57(12): 2648-2661.
[10]	陈红名,刘全,闫岩,何斌,姜玉斌,张琳琳. 基于经验指导的深度确定性多行动者-评论家算法[J]. 计算机研究与发展, 2019, 56(8): 1708-1720.
[11]	张文韬,汪璐,程耀东. 基于强化学习的Lustre文件系统的性能调优[J]. 计算机研究与发展, 2019, 56(7): 1578-1586.
[12]	章晓芳,周倩,梁斌,徐进. 一种自适应的多臂赌博机算法[J]. 计算机研究与发展, 2019, 56(3): 643-654.
[13]	张凯峰,俞扬. 基于逆强化学习的示教学习方法综述[J]. 计算机研究与发展, 2019, 56(2): 254-261.
[14]	白辰甲,刘鹏,赵巍,唐降龙. 基于TD-error自适应校正的深度Q学习主动采样方法[J]. 计算机研究与发展, 2019, 56(2): 262-280.
[15]	李春强,董永强,吴国新. 低速率流淘汰与d-Left散列相结合的大流检测算法[J]. 计算机研究与发展, 2019, 56(2): 349-362.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4190