(武汉光电国家研究中心(华中科技大学) 武汉 430074) (信息存储系统教育部重点实验室(华中科技大学) 武汉 430074) (深圳华中科技大学研究院 广东深圳 518000) (tangyingjie@mail.hust.edu.cn)
出版日期: 2019-04-01基金资助:国家自然科学基金项目(61520106005，61761136014)；国家重点研发计划项目(2017YFB1010000)An Efficient Failure Reconstruction Based on In-Network Computing for Erasure-Coded Storage Systems
Tang Yingjie, Wang Fang, Xie Yanwen(Wuhan National Laboratory for Optoelectronics (Huazhong University of Science and Technology), Wuhan 430074) (Key Laboratory of Information Storage System (Huazhong University of Science and Technology), Ministry of Education, Wuhan 430074) (Shenzhen Huazhong University of Science and Technology Research Institute, Shenzhen, Guangdong 518000)
Online: 2019-04-01摘要/Abstract
摘要： 目前分布式存储系统的规模越来越大，不论存储设备是磁盘还是固态盘，系统都始终面临着数据丢失的风险.传统分布式存储系统大多采用基于三副本的高可靠性技术，但为了追求较低的存储开销，大量系统正在转向基于纠删码的可靠性方法.但是在纠删码方案下，重建故障数据需要读取多个存储设备，这将导致大量的网络传输和存储I/O操作，增大系统恢复开销.为了能够在不损失其他性能的同时降低恢复开销，利用软件定义网络(software defined networking, SDN)技术，提出一种基于网络计算的高效故障重建方案——网络流水线(in-network pipeline, INP)，其中SDN 控制器利用网络的全局拓扑信息构造重建树，系统依据重建树进行数据传输，并在交换机上完成部分计算，减少向后传输的网络流量，从而消除网络瓶颈，提升恢复性能.测试评估了不同网络带宽下INP的恢复效率.实验结果表明：与传统的纠删码系统相比，INP总是能大幅减少网络流量，并且在一定带宽条件下，能够接近正常读的时间开销.
参考文献
相关文章 15
| [1] | 李乾, 胡玉鹏, 叶振宇, 肖叶, 秦拯. 基于蚁群优化算法的纠删码存储系统数据更新方案[J]. 计算机研究与发展, 2021, 58(2): 305-318. |
| [2] | 王桂芝, 吕光宏, 贾吾财, 贾创辉, 张建申. 机器学习在SDN路由优化中的应用研究综述[J]. 计算机研究与发展, 2020, 57(4): 688-698. |
| [3] | 包涵, 王意洁, 许方亮. 基于生成矩阵变换的跨数据中心纠删码写入方法[J]. 计算机研究与发展, 2020, 57(2): 291-305. |
| [4] | 张耀, 储佳佳, 翁楚良. 纠删码存储系统数据更新方法研究综述[J]. 计算机研究与发展, 2020, 57(11): 2419-2431. |
| [5] | 何荣希，雷田颖，林子薇. 软件定义数据中心网络多约束节能路由算法[J]. 计算机研究与发展, 2019, 56(6): 1219-1230. |
| [6] | 张龙,王劲松. SDN中基于信息熵与DNN的DDoS攻击检测模型[J]. 计算机研究与发展, 2019, 56(5): 909-918. |
| [7] | 邓理,吴伟楠,朱正一,陈鸣. DiffSec：一种差别性的智能网络安全服务模型[J]. 计算机研究与发展, 2019, 56(5): 955-966. |
| [8] | 刘佩,蒋梓逸,曹袖. 一种基于分布式存储系统中多节点修复的节点选择算法[J]. 计算机研究与发展, 2018, 55(7): 1557-1568. |
| [9] | 王煜炜,刘敏,马诚,李鹏飞. 面向网络功能虚拟化的高性能负载均衡机制[J]. 计算机研究与发展, 2018, 55(4): 689-703. |
| [10] | 陈文龙,赵一荣,肖融,唐晓岚,徐恪. 基于虚拟拓扑的多级可信传输体系及路由计算[J]. 计算机研究与发展, 2018, 55(4): 729-737. |
| [11] | 徐冉,王文东,龚向阳,阙喜戎. 网络功能虚拟化中延时感知的资源调度优化方法[J]. 计算机研究与发展, 2018, 55(4): 738-747. |
| [12] | 郑鹏, 胡成臣, 李昊. 基于流量特征的OpenFlow南向接口开销优化技术[J]. 计算机研究与发展, 2018, 55(2): 346-357. |
| [13] | 王健,赵国生,赵中楠,李可. 面向SDN的脆弱性扩散形式化建模与扩散因素分析[J]. 计算机研究与发展, 2018, 55(10): 2256-2268. |
| [14] | 傅颖勋,文士林,马礼,舒继武. 纠删码存储系统单磁盘错误重构优化方法综述[J]. 计算机研究与发展, 2018, 55(1): 1-13. |
| [15] | 郑正,徐明伟,李琦,张云. SDN网络拓扑污染攻击防御机制研究[J]. 计算机研究与发展, 2018, 55(1): 207-215. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3906
