1(清华大学计算机科学与技术系 北京 100084); 2(中兴通讯股份有限公司 南京 210012) (chenym16@mails.tsinghua.edu.cn)
出版日期: 2019-02-01基金资助:国家自然科学基金项目(61433008)；北京市科委重大项目(D151100000815003)；中兴通讯股份有限公司研究项目(PJ160628142014)；深圳市科技创新委员会科技应用示范基金项目(SF20170036)Survey on RDMA-Based Distributed Storage Systems
Chen Youmin1, Lu Youyou1, Luo Shengmei2, Shu Jiwu11(Department of Computer Science and Technology, Tsinghua University, Beijing 100084); 2(ZTE Corporation, Nanjing 210012)
Online: 2019-02-01摘要/Abstract
摘要： 远程直接内存访问(remote direct memory access， RDMA)技术正在大数据领域被越来越广泛地应用，它支持在对方主机CPU不参与的情况下远程读写异地内存，并提供高带宽、高吞吐和低延迟的数据传输特性，从而大幅提升分布式存储系统的性能，因此基于RDMA的分布式存储系统将为满足大数据高时效处理和存储带来新的机遇.首先分析了基于RDMA的分布式存储系统简单替换网络传输模块并不能充分发挥RDMA在语义和性能上的优势的原因，并指出存储系统架构需要变革的因素.然后阐述了高效运用RDMA技术主要取决于2个方面：第1方面是硬件资源的高效管理，包括网卡缓存和CPU缓存的合理利用、多核CPU的并行加速以及内存资源管理等；第2方面是软硬件的紧耦合设计，借助RDMA在语义和性能上的特性，重构新型数据组织和索引方式、优化分布式协议等.同时，以分布式文件系统、分布式键值存储和分布式事务系统为典型应用场景，分别阐述了它们在硬件资源管理和软件重构这2个方面的相关研究.最后，给出了总结和展望.
参考文献
相关文章 15
| [1] | 李乾, 胡玉鹏, 叶振宇, 肖叶, 秦拯. 基于蚁群优化算法的纠删码存储系统数据更新方案[J]. 计算机研究与发展, 2021, 58(2): 305-318. |
| [2] | 韩书楷, 熊子威, 蒋德钧, 熊劲. 基于持久化内存的索引设计重新思考与优化[J]. 计算机研究与发展, 2021, 58(2): 356-370. |
| [3] | 陈茂棠, 郑圣安, 游理通, 王晶钰, 闫田, 屠要峰, 韩银俊, 黄林鹏. 一种基于RDMA多播机制的分布式持久性内存文件系统[J]. 计算机研究与发展, 2021, 58(2): 384-396. |
| [4] | 安仲奇, 张云尧, 邢晶, 霍志刚. 基于用户级融合I/O的Key-Value存储系统优化技术研究[J]. 计算机研究与发展, 2020, 57(3): 649-659. |
| [5] | 陈波, 陆游游, 蔡涛, 陈游旻, 屠要峰, 舒继武. 一种分布式持久性内存文件系统的一致性机制[J]. 计算机研究与发展, 2020, 57(3): 660-667. |
| [6] | 陈游旻, 朱博弘, 韩银俊, 屠要峰, 舒继武. 一种持久性内存文件系统数据页的混合管理机制[J]. 计算机研究与发展, 2020, 57(2): 281-290. |
| [7] | 田俊峰, 王彦骉. 一种基于HashGraph的NoSQL型分布式存储因果一致性模型[J]. 计算机研究与发展, 2020, 57(12): 2703-2716. |
| [8] | 张耀, 储佳佳, 翁楚良. 纠删码存储系统数据更新方法研究综述[J]. 计算机研究与发展, 2020, 57(11): 2419-2431. |
| [9] | 吴尚宇, 谢婧雯, 王毅. 面向键值存储的日志结构合并树优化技术[J]. 计算机研究与发展, 2020, 57(11): 2432-2441. |
| [10] | 曾高雄, 胡水海, 张骏雪, 陈凯. 数据中心网络传输协议综述[J]. 计算机研究与发展, 2020, 57(1): 74-84. |
| [11] | 王海涛,李战怀,张晓,赵晓南. 一种基于LSM树的键值存储系统性能优化方法[J]. 计算机研究与发展, 2019, 56(8): 1792-1802. |
| [12] | 张文韬,汪璐,程耀东. 基于强化学习的Lustre文件系统的性能调优[J]. 计算机研究与发展, 2019, 56(7): 1578-1586. |
| [13] | 唐英杰,王芳,谢燕文. 纠删码存储系统中基于网络计算的高效故障重建方法[J]. 计算机研究与发展, 2019, 56(4): 767-778. |
| [14] | 游理通,王振杰,黄林鹏. 一个基于日志结构的非易失性内存键值存储系统[J]. 计算机研究与发展, 2018, 55(9): 2038-2049. |
| [15] | 刘佩,蒋梓逸,曹袖. 一种基于分布式存储系统中多节点修复的节点选择算法[J]. 计算机研究与发展, 2018, 55(7): 1557-1568. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3859
