1(华中科技大学计算机科学与技术学院 武汉 430074); 2(深圳华中科技大学研究院 广东深圳 518000) (xiaoyangzhang@hust.edu.cn)
出版日期: 2019-09-10基金资助:国家自然科学基金项目(61872414,61502191)；深圳市知识创新计划项目(JCYJ20170307172447622)Proactive Locally Repairable Codes for Cloud Storage Systems
Zhang Xiaoyang1, Xu Jiahao1, Hu Yuchong1,21(School of Computer Science and Technology, Huazhong University of Science and Technology, Wuhan 430074); 2(Shenzhen Huazhong University of Science and Technology Research Institute, Shenzhen, Guangdong 518000)
Online: 2019-09-10Supported by:This work was supported by the National Natural Science Foundation of China (61872414, 61502191) and Shenzhen Knowledge Innovation Program (JCYJ20170307172447622).摘要/Abstract
摘要： 为了保证客户访问数据的高可用性，一些云存储系统开始采用一类新型编码，即局部修复编码(locally repairable codes, LRC).例如Windows Azure和Facebook的HDFS RAID.与Reed-Solomon码相比，LRC修复效率高，因为它将每个条带的数据块分成多个组，每个组内额外生成一个校验块，因而组内就可以对单个故障块进行修复.LRC假设每组大小相同，这意味着每个故障块的修复所产生的组内数据传输量是相同的.但是，对于那些更易出现故障的磁盘，它们所造成丢失的数据块理应被系统更有效地修复.借助基于决策树的磁盘故障预测方法来动态调整LRC中组的大小，从而构造一类预测式LRC(proactive LRC, pLRC)，使得即将发生故障的磁盘存储的数据块所在的组的长度变小，以便这些数据块可以在更小的组内进行更快地修复，同时保持和传统LRC相同的存储开销和编码结构.不仅通过MTTDL建模分析pLRC的可靠性，还在Facebook的Hadoop HDFS平台中实现了pLRC并进行了性能测试.结果表明，比起LRC，pLRC的可靠性最多可提升113%，同时降级读和磁盘修复性能最多可提高46.8%和47.5%.
参考文献
相关文章 15
| [1] | 吴宗友, 白昆龙, 杨林蕊, 王仪琦, 田英杰. 电子病历文本挖掘研究综述[J]. 计算机研究与发展, 2021, 58(3): 513-527. |
| [2] | 吴志军, 张入丹, 岳猛. 一种联合检测命名数据网络中攻击的方法[J]. 计算机研究与发展, 2021, 58(3): 569-582. |
| [3] | 陈晋音, 陈奕芃, 陈一鸣, 郑海斌, 纪守领, 时杰, 程瑶. 面向深度学习的公平性研究综述[J]. 计算机研究与发展, 2021, 58(2): 264-280. |
| [4] | 徐光伟, 史春红, 冯向阳, 罗辛, 石秀金, 韩松桦, 李玮. 基于多级网络编码的多副本云数据存储[J]. 计算机研究与发展, 2021, 58(2): 293-304. |
| [5] | 于畅, 王雅文, 林欢, 宫云战. 基于故障检测上下文的等价变异体识别算法[J]. 计算机研究与发展, 2021, 58(1): 83-97. |
| [6] | 张云洁, 张璇, 王旭, 任峻民, 唐子淇. 基于边际贡献的需求变更技术债务量化评估[J]. 计算机研究与发展, 2021, 58(1): 208-223. |
| [7] | 李双峰. TensorFlow Lite：端侧机器学习框架[J]. 计算机研究与发展, 2020, 57(9): 1839-1853. |
| [8] | 陈珂锐, 孟小峰. 机器学习的可解释性[J]. 计算机研究与发展, 2020, 57(9): 1971-1986. |
| [9] | 丁成诚, 陶蔚, 陶卿. 一种三参数统一化动量方法及其最优收敛速率[J]. 计算机研究与发展, 2020, 57(8): 1571-1580. |
| [10] | 贺一笑, 庞明, 姜远. 蒙德里安深度森林[J]. 计算机研究与发展, 2020, 57(8): 1594-1604. |
| [11] | 李冬梅, 张扬, 李东远, 林丹琼. 实体关系抽取方法研究综述[J]. 计算机研究与发展, 2020, 57(7): 1424-1448. |
| [12] | 陶涛, 孙玉娥, 陈冬梅, 杨文建, 黄河, 罗永龙. 一种基于智能手机传感器数据的地图轮廓生成方法[J]. 计算机研究与发展, 2020, 57(7): 1490-1507. |
| [13] | 蓝天, 彭川, 李森, 叶文政, 李萌, 惠国强, 吕忆蓝, 钱宇欣, 刘峤. 单声道语音降噪与去混响研究综述[J]. 计算机研究与发展, 2020, 57(5): 928-953. |
| [14] | 严新成, 陈越, 巴阳, 贾洪勇, 王仲辉. 支持用户权限动态变更的可更新属性加密方案[J]. 计算机研究与发展, 2020, 57(5): 1057-1069. |
| [15] | 刘辰屹, 徐明伟, 耿男, 张翔. 基于机器学习的智能路由算法综述[J]. 计算机研究与发展, 2020, 57(4): 671-687. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4014
