(华东师范大学数据科学与工程学院 上海 200062) (zhangyao@stu.ecnu.edu.cn)
出版日期: 2020-11-01基金资助:国家自然科学基金项目(61772204，61732014)Survey on Data Updating in Erasure-Coded Storage Systems
Zhang Yao, Chu Jiajia, Weng Chuliang(School of Data Science and Engineering, East China Normal University, Shanghai 200062)
Online: 2020-11-01Supported by:This work was supported by the National Natural Science Foundation of China (61772204, 61732014).摘要/Abstract
摘要： 在分布式存储系统中，节点故障已成为一种常态，为了保证数据的高可用性，系统通常采用数据冗余的方式.目前主要有2种冗余机制：一种是多副本，另一种是纠删码.伴随着数据量的与日俱增，多副本机制带来的效益越来越低，人们逐渐将目光转向存储效率更高的纠删码.但是纠删码本身的复杂规则导致使用纠删码的分布式存储系统的读、写、更新操作的开销相比于多副本较大.所以纠删码通常被用于冷数据或者温数据的存储，热数据这种需要频繁访问更新的场景仍然用多副本机制存储.专注于纠删码存储系统内的数据更新，从硬盘I/O、网络传输、系统优化3方面综述了目前纠删码更新相关的优化工作，对目前具有代表性的编码方案的更新性能做了对比分析，最后展望了未来研究趋势.通过分析发现目前的纠删码更新方案仍然无法获得和多副本相近的更新性能.如何在纠删码更新规则和系统架构角度优化纠删码存储系统，使其能够替换掉热数据场景下的多副本机制，降低热数据存储开销仍是未来值得深入研究的问题.
参考文献
相关文章 15
| [1] | 徐光伟, 史春红, 冯向阳, 罗辛, 石秀金, 韩松桦, 李玮. 基于多级网络编码的多副本云数据存储[J]. 计算机研究与发展, 2021, 58(2): 293-304. |
| [2] | 李乾, 胡玉鹏, 叶振宇, 肖叶, 秦拯. 基于蚁群优化算法的纠删码存储系统数据更新方案[J]. 计算机研究与发展, 2021, 58(2): 305-318. |
| [3] | 包涵, 王意洁, 许方亮. 基于生成矩阵变换的跨数据中心纠删码写入方法[J]. 计算机研究与发展, 2020, 57(2): 291-305. |
| [4] | 唐英杰,王芳,谢燕文. 纠删码存储系统中基于网络计算的高效故障重建方法[J]. 计算机研究与发展, 2019, 56(4): 767-778. |
| [5] | 李学俊,袁亚文,金春花. 一种适用于广电网的属性基广播加密方案[J]. 计算机研究与发展, 2018, 55(7): 1409-1420. |
| [6] | 刘佩,蒋梓逸,曹袖. 一种基于分布式存储系统中多节点修复的节点选择算法[J]. 计算机研究与发展, 2018, 55(7): 1557-1568. |
| [7] | 傅颖勋,文士林,马礼,舒继武. 纠删码存储系统单磁盘错误重构优化方法综述[J]. 计算机研究与发展, 2018, 55(1): 1-13. |
| [8] | 卞建超,查雅行,罗守山,李伟. 一种基于磁盘内和磁盘间冗余的混合编码方案[J]. 计算机研究与发展, 2016, 53(9): 1906-1917. |
| [9] | 付伟,吴晓平,叶清,肖侬,卢锡城. 一种基于公钥分割的多副本持有性证明方案[J]. 计算机研究与发展, 2015, 52(7): 1672-1681. |
| [10] | 毛波,叶阁焰,蓝琰佳,张杨松,吴素贞. 一种基于重复数据删除技术的云中云存储系统[J]. 计算机研究与发展, 2015, 52(6): 1278-1287. |
| [11] | 陈世敏. 大数据分析与高速数据更新[J]. 计算机研究与发展, 2015, 52(2): 333-342. |
| [12] | 付艳艳1 张 敏1 陈开渠2 冯登国1. 面向云存储的多副本文件完整性验证方案[J]. 计算机研究与发展, 2014, 51(7): 1410-1416. |
| [13] | 贾 佳, 杨学军, 李志凌,. 一种基于冗余线程的GPU多副本容错技术[J]. , 2013, 50(7): 1551-1562. |
| [14] | 孙 竞 余宏亮 郑纬民. 支持分布式存储删冗的相似文件元数据集合索引[J]. , 2013, 50(1): 197-205. |
| [15] | 廖 彬, 于 炯, 孙 华, 年 梅,. 基于存储结构重配置的分布式存储系统节能算法[J]. 计算机研究与发展, 2013, 50(1): 3-18. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4298
