出版日期: 2019-07-01基金资助:国家重点研发计划项目(2017YFB0203203);国家自然科学基金项目(11575223)Performance Optimization of Lustre File System Based on Reinforcement Learning
Zhang Wentao1,2, Wang Lu1, Cheng Yaodong11(Computing Center, Institute of High Energy Physics, Chinese Academy of Sciences, Beijing 100049);2(University of Chinese Academy of Sciences, Beijing 100049)
Online: 2019-07-01摘要/Abstract
摘要： 高能物理计算是典型的数据密集型计算.分布式存储系统的吞吐率和响应时间是最关键的性能指标,往往也是重点关注的性能优化目标.存储系统中存在大量可供调节的参数,这些参数的设置对系统的性能有着很大的影响.目前,这些参数被直接设置为静态值,或者由经验丰富的管理员定义一些启发式规则来自动调整.考虑到数据访问模式和硬件配置的多样性,以及依靠人类经验来找到数百个交互参数的启发式规则的难度,这2种方法的效果都不太乐观.实际上,如果把调节引擎看作是智能体,把存储系统看作是环境,存储系统的参数调节问题是典型的顺序决策问题.因此,基于高能物理计算的数据访问特点,提出了用强化学习的方法来进行自动化的参数调优.实验表明:在相同的测试环境下,以Lustre文件系统默认参数为基准,该方法可使其吞吐率提升30%左右.
参考文献
相关文章 15
| [1] | 吴宗友, 白昆龙, 杨林蕊, 王仪琦, 田英杰. 电子病历文本挖掘研究综述[J]. 计算机研究与发展, 2021, 58(3): 513-527. |
| [2] | 廖海斌, 徐斌. 基于性别和年龄因子分析的鲁棒性人脸表情识别[J]. 计算机研究与发展, 2021, 58(3): 528-538. |
| [3] | 付章杰, 李恩露, 程旭, 黄永峰, 胡雨婷. 基于深度学习的图像隐写研究进展[J]. 计算机研究与发展, 2021, 58(3): 548-568. |
| [4] | 古天龙, 冯旋, 李龙, 包旭光, 李云辉. 基于社会新闻数据集的伦理行为判别方法[J]. 计算机研究与发展, 2021, 58(2): 253-263. |
| [5] | 陈晋音, 陈奕芃, 陈一鸣, 郑海斌, 纪守领, 时杰, 程瑶. 面向深度学习的公平性研究综述[J]. 计算机研究与发展, 2021, 58(2): 264-280. |
| [6] | 李乾, 胡玉鹏, 叶振宇, 肖叶, 秦拯. 基于蚁群优化算法的纠删码存储系统数据更新方案[J]. 计算机研究与发展, 2021, 58(2): 305-318. |
| [7] | 李金鹏, 张闯, 陈小军, 胡玥, 廖鹏程. 自动文本摘要研究综述[J]. 计算机研究与发展, 2021, 58(1): 1-21. |
| [8] | 孟子尧, 谷雪, 梁艳春, 许东, 吴春国. 深度神经架构搜索综述[J]. 计算机研究与发展, 2021, 58(1): 22-33. |
| [9] | 朱泓睿, 元国军, 姚成吉, 谭光明, 王展, 户忠哲, 张晓扬, 安学军. 分布式深度学习训练网络综述[J]. 计算机研究与发展, 2021, 58(1): 98-115. |
| [10] | 林培光, 周佳倩, 温玉莲. SCONV：一种基于情感分析的金融市场趋势预测方法[J]. 计算机研究与发展, 2020, 57(8): 1769-1778. |
| [11] | 李冬梅, 张扬, 李东远, 林丹琼. 实体关系抽取方法研究综述[J]. 计算机研究与发展, 2020, 57(7): 1424-1448. |
| [12] | 胡超文, 邬昌兴, 杨亚连. 基于扩展的S-LSTM的文本蕴含识别[J]. 计算机研究与发展, 2020, 57(7): 1481-1489. |
| [13] | 于海涛, 杨小汕, 徐常胜. 基于多模态输入的对抗式视频生成方法[J]. 计算机研究与发展, 2020, 57(7): 1522-1530. |
| [14] | 卢海峰, 顾春华, 罗飞, 丁炜超, 杨婷, 郑帅. 基于深度强化学习的移动边缘计算任务卸载研究[J]. 计算机研究与发展, 2020, 57(7): 1539-1554. |
| [15] | 范浩, 徐光平, 薛彦兵, 高赞, 张桦. 一种基于强化学习的混合缓存能耗优化与评价[J]. 计算机研究与发展, 2020, 57(6): 1125-1139. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3976
