删除或更新信息，请邮件至freekaoyan#163.com(#换成@)

基于生成矩阵变换的跨数据中心纠删码写入方法

本站小编 Free考研考试/2022-01-01
包 涵1,2, 王意洁1,2, 许方亮2
1(并行与分布处理国家重点实验室(国防科技大学) 长沙 410073);2(国防科技大学计算机学院 长沙 410073) (hanb_nudt@foxmail.com)
出版日期: 2020-02-01


基金资助:国家重点研发计划项目(2016YFB1000101)；国家自然科学基金项目(61379052)；教育部科研创新基金项目(2018A02002)；湖南省自然科学****基金项目(14JJ1026)

A Cross-Datacenter Erasure Code Writing Method Based on Generator Matrix Transformation

Bao Han1,2, Wang Yijie1,2, and Xu Fangliang2
1(National Laboratory for Parallel and Distributed Processing (National University of Defense Technology), Changsha 410073);2(College of Computer, National University of Defense Technology, Changsha 410073)
Online: 2020-02-01


Supported by:This work was supported by the National Key Research and Development Program of China (2016YFB1000101), the National Natural Science Foundation of China (61379052), the Science Foundation of Ministry of Education of China (2018A02002), and the Natural Science Foundation for Distinguished Young Scholars of Hunan Province (14JJ1026).




摘要/Abstract


摘要： 近年来，为了避免数据因数据中心故障而永久丢失，各大机构开始尝试采用容错技术将数据存放在跨数据中心存储系统中.作为一种具有高容错性和低冗余度的容错技术，纠删码被广泛应用于单数据中心存储系统中.然而，在跨数据中心存储系统中，已有纠删码写入方法的网络资源消耗量大、编码效率低且传输效率低，这使得跨数据中心纠删码的写入速度难以适应于日益增长的数据生成速度.为提高跨数据中心纠删码的写入速度，提出了一种基于生成矩阵变换的跨数据中心纠删码写入方法(cross-datacenter erasure code writing method based on generator matrix transformation, CREW).通过对传输拓扑和生成矩阵进行优化，CREW可使写入过程中需要长距离传输的数据块尽可能地少，从而达到降低网络资源消耗量的目的.通过在数据中心间采用分布式的数据传输和数据编码、在各数据中心内部采用集中式的数据传输和数据编码，CREW可在编码效率和传输效率间取得较好权衡.在跨数据中心环境下的实验表明：与2种广泛使用的传统纠删码写入方法相比，CREW的写入速度提高了36.3%~57.9%；与现有的跨数据中心纠删码写入方法IncEncoding相比，CREW的写入速度提高了32.4%.






[1]李乾, 胡玉鹏, 叶振宇, 肖叶, 秦拯. 基于蚁群优化算法的纠删码存储系统数据更新方案[J]. 计算机研究与发展, 2021, 58(2): 305-318.
[2]张耀, 储佳佳, 翁楚良. 纠删码存储系统数据更新方法研究综述[J]. 计算机研究与发展, 2020, 57(11): 2419-2431.
[3]唐英杰,王芳,谢燕文. 纠删码存储系统中基于网络计算的高效故障重建方法[J]. 计算机研究与发展, 2019, 56(4): 767-778.
[4]傅颖勋,文士林,马礼,舒继武. 纠删码存储系统单磁盘错误重构优化方法综述[J]. 计算机研究与发展, 2018, 55(1): 1-13.
[5]卞建超,查雅行,罗守山,李伟. 一种基于磁盘内和磁盘间冗余的混合编码方案[J]. 计算机研究与发展, 2016, 53(9): 1906-1917.
[6]毛波,叶阁焰,蓝琰佳,张杨松,吴素贞. 一种基于重复数据删除技术的云中云存储系统[J]. 计算机研究与发展, 2015, 52(6): 1278-1287.
[7]贾 佳, 杨学军, 李志凌,. 一种基于冗余线程的GPU多副本容错技术[J]. , 2013, 50(7): 1551-1562.
[8]罗象宏 舒继武. 存储系统中的纠删码研究综述[J]. 计算机研究与发展, 2012, 49(1): 1-11.
[9]谢  卢宇彤 周恩强 曹宏嘉 杨学军. 基于Lustre文件系统的MPI检查点系统实现技术与性能测试[J]. , 2007, 44(10): 1709-1716.





PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4118
相关话题/数据 计算机 技术 优化 方案
  • 领限时大额优惠券,享本站正版考研考试资料!
    大额优惠券
    优惠券领取后72小时内有效，10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材，产品类型包含电子书、题库、全套资料以及视频，无论您是考研复习、考证刷题，还是考前冲刺等，不同类型的产品可满足您学习上的不同需求。 ...
    考试优惠券 本站小编 Free壹佰分学习网 2022-09-19
  • 基于“采集—预测—迁移—反馈”机制的主动容错技术
    杨洪章1,杨雅辉1,屠要峰2,孙广宇3,吴中海11(北京大学软件与微电子学院北京102600);2(中兴通讯股份有限公司广东深圳518057);3(北京大学信息科学技术学院北京100871)(yanghongzhang@pku.edu.cn)出版日期:2020-02-01基金资助:国家重点研发计划项 ...
    中科院计算技术研究所 本站小编 Free考研考试 2022-01-01
  • 基于地理空间大数据的高效索引与检索算法
    赵慧慧1,2,赵凡2,3,陈仁海1,2,冯志勇1,21(天津大学智能与计算学部天津300350);2(天津大学深圳研究院广东深圳518000);3(天津大学国际工程师学院天津300350)(1442700849@qq.com)出版日期:2020-02-01基金资助:国家自然科学基金项目(617023 ...
    中科院计算技术研究所 本站小编 Free考研考试 2022-01-01
  • 基于收益模型的Spark SQL数据重用机制
    申毅杰,曾丹,熊劲(计算机体系结构国家重点实验室(中国科学院计算技术研究所)北京100190)(中国科学院大学北京100049)(shenyijie@ict.ac.cn)出版日期:2020-02-01基金资助:国家重点研发计划项目(2016YFB1000202)；国家自然科学基金项目(6137904 ...
    中科院计算技术研究所 本站小编 Free考研考试 2022-01-01
  • 带权值的大规模社交网络数据隐私保护方法
    黄海平1,2,张东军1,2,王凯1,2,朱毅凯3,王汝传1,21(南京邮电大学计算机学院南京210023);2(江苏省无线传感网高技术研究重点实验室(南京邮电大学)南京210023);3(南京大学网络信息中心南京210023)(hhp@njupt.edu.cn)出版日期:2020-02-01基金资助 ...
    中科院计算技术研究所 本站小编 Free考研考试 2022-01-01
  • 一种灵活的精度可控的可搜索对称加密方案
    李西明1,陶汝裕1,粟晨1,黄琼1,黄欣沂21(华南农业大学数学与信息学院广州510642);2(福建师范大学数学与信息学院福州350117)(liximing@scau.edu.cn)出版日期:2020-01-01基金资助:国家自然科学基金优秀青年科学基金项目(61822202)；国家自然科学基金 ...
    中科院计算技术研究所 本站小编 Free考研考试 2022-01-01
  • 数据中心网络传输协议综述
    曾高雄,胡水海,张骏雪,陈凯(香港科技大学计算机科学与工程系香港999077)(kaichen@cse.ust.hk)出版日期:2020-01-01TransportProtocolsforDataCenterNetworks:ASurveyZengGaoxiong,HuShuihai,ZhangJ ...
    中科院计算技术研究所 本站小编 Free考研考试 2022-01-01
  • 面向非易失内存的数据一致性研究综述
    肖仁智1,冯丹1,2,胡燏翀2,3,张晓祎1,程良锋21(华中科技大学武汉光电国家研究中心武汉430074);2(华中科技大学计算机科学与技术学院武汉430074);3(深圳华中科技大学研究院广东深圳518061)(rzxiao@hust.edu.cn)出版日期:2020-01-01基金资助:国家重 ...
    中科院计算技术研究所 本站小编 Free考研考试 2022-01-01
  • 2019大数据知识工程及应用专题
    郑庆华(西安交通大学西安710049)出版日期:2019-12-01Online:2019-12-01摘要/Abstract摘要：实际工程问题的求解往往涉及跨领域、跨模态的海量碎片化知识，这些知识不能仅靠专家提供，而需要从环境中动态学习和融合生成.知识工程旨在研究计算机对知识的获取、表征和处理.随着 ...
    中科院计算技术研究所 本站小编 Free考研考试 2022-01-01
  • 基于邻节点和关系模型优化的网络表示学习
    冶忠林1,2,3,赵海兴1,2,3,张科1,3,朱宇1,3,肖玉芝1,31(青海师范大学计算机学院西宁810008);2(陕西师范大学计算机科学学院西安710119);3(藏文信息处理教育部重点实验室(青海师范大学)西宁810008)(zhonglin_ye@foxmail.com)出版日期:201 ...
    中科院计算技术研究所 本站小编 Free考研考试 2022-01-01
  • 基于时变水声信道的物理层密钥生成方案
    徐明1,2,范以萌1,蒋昌俊2,31(上海海事大学信息工程学院上海201306);2(同济大学电子与信息工程学院上海201804);3(嵌入式系统与服务计算教育部重点实验室(同济大学)上海201804)(mingxu@shmtu.edu.cn)出版日期:2019-12-01基金资助:国家自然科学基金 ...
    中科院计算技术研究所 本站小编 Free考研考试 2022-01-01

Free考研考试FreeKaoYan.Com
欢迎来到Free考研考试，"为实现人生的Free而奋斗"

© 2020 FreeKaoYan! . All rights reserved.