(湖南大学信息科学与工程学院 长沙 410082) (qianli160@hnu.edu.cn)
出版日期: 2021-02-01基金资助:国家自然科学基金项目(61872130，61572181)；湖南省交通厅科技项目(201928)；长沙市重点研发计划项目(kq1907103)An Ant Colony Optimization Algorithms Based Data Update Scheme for Erasure-Coded Storage Systems
Li Qian, Hu Yupeng, Ye Zhenyu, Xiao Ye, Qin Zheng(College of Computer Science and Electronic Engineering, Hunan University, Changsha 410082)
Online: 2021-02-01Supported by:This work was supported by the National Natural Science Foundation of China (61872130, 61572181), the Science and Technology Project of Hunan Provincial Department of Communications(201928), and the Key Research and Development Program of Changsha (kq1907103).摘要/Abstract
摘要： 由于纠删码具备高可用性和高存储空间有效性的特点，采用纠删码为大规模分布式存储系统提供数据持久性已成为事实标准.然而，纠删码的密集型更新操作将导致大量的数据传输和I/O开销.如何减少数据传输量，优化现有网络资源的利用率，以提高纠删码的更新效率，成为纠删码存储系统面临的重要挑战.然而，在多重服务质量(quality of service, QoS)指标下，目前对纠删码更新效率的优化研究很少.针对此问题，提出一种基于蚁群优化算法的多数据节点更新方案(ant colony optimization algorithm based multiple data nodes update scheme, ACOUS)，采用2阶段数据更新方式以优化多数据节点更新过程.具体而言，基于多目标蚁群优化更新路由算法(multi-objective ant colony optimization update routing algorithm, MACOU)所构建的多目标更新树，2阶段数据更新方式能有效地进行数据增量收集和校验增量分发.大量的实验结果表明，在典型的数据中心网络拓扑结构下，与TA-Update方案相比，所提方案能够在保证算法收敛的前提下，以可忽略的计算开销为代价，将更新时延降低26%~37%.
参考文献
相关文章 15
| [1] | 魏征, 窦禹, 高艳珍, 马捷, 孙凝晖, 邢晶. 一种基于条带的一致性散列数据放置算法[J]. 计算机研究与发展, 2021, 58(4): 888-903. |
| [2] | 包涵, 王意洁, 许方亮. 基于生成矩阵变换的跨数据中心纠删码写入方法[J]. 计算机研究与发展, 2020, 57(2): 291-305. |
| [3] | 张耀, 储佳佳, 翁楚良. 纠删码存储系统数据更新方法研究综述[J]. 计算机研究与发展, 2020, 57(11): 2419-2431. |
| [4] | 唐英杰,王芳,谢燕文. 纠删码存储系统中基于网络计算的高效故障重建方法[J]. 计算机研究与发展, 2019, 56(4): 767-778. |
| [5] | 刘佩,蒋梓逸,曹袖. 一种基于分布式存储系统中多节点修复的节点选择算法[J]. 计算机研究与发展, 2018, 55(7): 1557-1568. |
| [6] | 傅颖勋,文士林,马礼,舒继武. 纠删码存储系统单磁盘错误重构优化方法综述[J]. 计算机研究与发展, 2018, 55(1): 1-13. |
| [7] | 卞建超,查雅行,罗守山,李伟. 一种基于磁盘内和磁盘间冗余的混合编码方案[J]. 计算机研究与发展, 2016, 53(9): 1906-1917. |
| [8] | 毛波,叶阁焰,蓝琰佳,张杨松,吴素贞. 一种基于重复数据删除技术的云中云存储系统[J]. 计算机研究与发展, 2015, 52(6): 1278-1287. |
| [9] | 陈世敏. 大数据分析与高速数据更新[J]. 计算机研究与发展, 2015, 52(2): 333-342. |
| [10] | 文仁强, 钟少波, 袁宏永, 黄全义,. 应急资源多目标优化调度模型与多蚁群优化算法研究[J]. , 2013, 50(7): 1464-1472. |
| [11] | 孙 竞 余宏亮 郑纬民. 支持分布式存储删冗的相似文件元数据集合索引[J]. , 2013, 50(1): 197-205. |
| [12] | 廖 彬, 于 炯, 孙 华, 年 梅,. 基于存储结构重配置的分布式存储系统节能算法[J]. 计算机研究与发展, 2013, 50(1): 3-18. |
| [13] | 刘 全, 陈 浩, 张永刚, 李 娇, 张沈斌,. 一种动态挥发率和启发式修正的蚁群优化算法[J]. , 2012, 49(3): 620-627. |
| [14] | 杨振国, 黄刘生, 肖明军, 黄 河, 张银东, 朱友文,. 一种基于蚁群算法的容迟网络路由策略[J]. , 2012, 49(12): 2501-2514. |
| [15] | 罗象宏 舒继武. 存储系统中的纠删码研究综述[J]. 计算机研究与发展, 2012, 49(1): 1-11. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4347
