删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

基于RDMA的分布式存储系统研究综述

本站小编 Free考研考试/2022-01-01

闁荤喐娲戦悞锔界珶濮椻偓閹虫捇宕橀鍡楃厸闂佸吋婢橀崯顐㈢暦閵夛妇鈻旈柟鎹愬皺閻熷綊鎮归崶褍鈷旀繝鈧埄鍐跨矗婵☆垳纭堕崑鎾寸瑹閳ь剟銆傞懞銉﹀劅闁圭偓澧庨崑鎾存媴缁涘缍婃俊顐ゅ閸╁﹦妲愰崹顐d氦婵炲棙鎸稿▍锟犳偣瑜嶇€氼厾鑺遍鐐儱闁告侗鍘煎鍧楁煥濞戞顦︽繝鈧鍡欐/闁割煈鍠栫敮鎶芥偣閹邦剛绉烘俊鎻掑閹风姵瀵煎▎鎴狅紲
2婵炴垶鎸稿ú銊╋綖閹烘鍤€闁告劦浜為崺锟犳煠閺夊灝鏆欑€规洏鍎甸幃浠嬫濞戞碍鎲ゆ繛鎴炴鐠侊絿妲愬▎鎰剁矗婵☆垵娅e銊╂煏閸℃洘绁版い顐㈩儐閿涙劙骞嬪▎灞戒壕濞达絿枪瀵灝鈹戦崒娑辨畽缂佷緡鍋婂顒€鈻庡▎鎴狀槴闂佸憡鐟ラ敃銈咁啅婵犳氨宓侀悗闈涙啞閸╁倸螞閻楀牞鍏紒杈ㄧ箓閳藉鎮介崹顐わ紣547闂佸湱顣介崑鎾绘⒒閸曗晛鐏柣妤嬫嫹4婵炴垶鎸稿ú锝囩礊閹寸偟鈻旀い蹇撴礌閸嬫捇宕橀鍡楃厸闂佸吋婢橀崯顐㈢暦閵夛妇鈻旈柟鎹愬皺閻熷湱绱掓径瀣仼婵炶弓鍗虫俊瀛樻媴鐟欙絽浜鹃柛鎰典簽閸╋繝鏌涜箛锝呭闁告瑱绱曢幏鐘诲箻閸涱垳顦╅梺琛″亾闁圭ǹ绨肩粭澶愭煠閺勫繒绨挎い鏇樺灲瀵偊寮跺▎鎯уΤ闂佹寧绋戦ˇ顓㈠焵椤掑﹥瀚�40缂備礁顦粔宕囩箔閹惧鈻旀慨姗€纭搁弫瀣熆鐠団€充壕缂佽鲸鐟╅弻宀勫箣閿濆洠鍋撻搹瑙勫厹闁哄洨鍎戠槐婊堟煏閸℃洖绨籅A闂侀潧妫旂粈浣该瑰Δ鍛挃闁告侗鍘藉▍宀勬煕閺冩挾纾挎い銏$缁旂喖顢曢悩顐壕濞达綀顫夐悡鈧梻鍌氬€介濠勬閸洖绠绘い鎾跺閺佸顭跨拠鈥充簴闁逞屽厸閼冲爼濡甸悙鏉戭嚤婵﹩鍏涚槐锝吤归敐鍡欑煂妞ゃ垺纰嶇粩鐔碱敃閵堝洦鎯i梺鎸庣☉椤︻參鍩€椤掑﹥瀚�28缂備緡鍋夐褔骞冮幘鍓侀┏濠㈣泛饪撮崝鍛存煕閺冣偓缁嬫捇寮悽鍨厹闁哄洦姘ㄩ悷鈺佲槈閹炬潙鎼搁柍褜鍓ㄩ幏锟�1130缂備礁顦粔鍓佸垝閿熺姴绀傞柛娑橈攻濞堝矂鏌℃径瀣闁逞屽墮閸婄懓螞閵堝洦濯奸柣鎴灻禍鍫曟煛閸曢潧鐏f繝鈧埄鍐跨矗婵☆垵宕靛婵堢磽娴gǹ鏆旈柍褜鍏涚欢姘躲€傞懞銉﹀劅闁规儳鍟块悡鏇炍涢悧鍫叕缂佽鲸绻冨ḿ璇参熺紒妯烇箑顭跨捄铏剐$紒鈥冲瀵偄鈻庨幇顓犵▌闂佹寧绋戞總鏃傜博鐎涙ḿ鈻旈柣姘P婵炴潙鍚嬮懝楣冨箟閹惰棄閿ら柛銉戝啳顔夊┑鐘测棩閵堝懎鏋欓梺璇″枔閸斿骸鈻撻幋锔筋梿闁逞屽墮鏁堥柛灞厩氶崑鎾绘晸閿燂拷
陈游旻1,陆游游1,罗圣美2,舒继武1
1(清华大学计算机科学与技术系 北京 100084); 2(中兴通讯股份有限公司 南京 210012) (chenym16@mails.tsinghua.edu.cn)
出版日期: 2019-02-01


基金资助:国家自然科学基金项目(61433008);北京市科委重大项目(D151100000815003);中兴通讯股份有限公司研究项目(PJ160628142014);深圳市科技创新委员会科技应用示范基金项目(SF20170036)

Survey on RDMA-Based Distributed Storage Systems

Chen Youmin1, Lu Youyou1, Luo Shengmei2, Shu Jiwu1
1(Department of Computer Science and Technology, Tsinghua University, Beijing 100084); 2(ZTE Corporation, Nanjing 210012)
Online: 2019-02-01







摘要/Abstract


摘要: 远程直接内存访问(remote direct memory access, RDMA)技术正在大数据领域被越来越广泛地应用,它支持在对方主机CPU不参与的情况下远程读写异地内存,并提供高带宽、高吞吐和低延迟的数据传输特性,从而大幅提升分布式存储系统的性能,因此基于RDMA的分布式存储系统将为满足大数据高时效处理和存储带来新的机遇.首先分析了基于RDMA的分布式存储系统简单替换网络传输模块并不能充分发挥RDMA在语义和性能上的优势的原因,并指出存储系统架构需要变革的因素.然后阐述了高效运用RDMA技术主要取决于2个方面:第1方面是硬件资源的高效管理,包括网卡缓存和CPU缓存的合理利用、多核CPU的并行加速以及内存资源管理等;第2方面是软硬件的紧耦合设计,借助RDMA在语义和性能上的特性,重构新型数据组织和索引方式、优化分布式协议等.同时,以分布式文件系统、分布式键值存储和分布式事务系统为典型应用场景,分别阐述了它们在硬件资源管理和软件重构这2个方面的相关研究.最后,给出了总结和展望.






[1]李乾, 胡玉鹏, 叶振宇, 肖叶, 秦拯. 基于蚁群优化算法的纠删码存储系统数据更新方案[J]. 计算机研究与发展, 2021, 58(2): 305-318.
[2]韩书楷, 熊子威, 蒋德钧, 熊劲. 基于持久化内存的索引设计重新思考与优化[J]. 计算机研究与发展, 2021, 58(2): 356-370.
[3]陈茂棠, 郑圣安, 游理通, 王晶钰, 闫田, 屠要峰, 韩银俊, 黄林鹏. 一种基于RDMA多播机制的分布式持久性内存文件系统[J]. 计算机研究与发展, 2021, 58(2): 384-396.
[4]安仲奇, 张云尧, 邢晶, 霍志刚. 基于用户级融合I/O的Key-Value存储系统优化技术研究[J]. 计算机研究与发展, 2020, 57(3): 649-659.
[5]陈波, 陆游游, 蔡涛, 陈游旻, 屠要峰, 舒继武. 一种分布式持久性内存文件系统的一致性机制[J]. 计算机研究与发展, 2020, 57(3): 660-667.
[6]陈游旻, 朱博弘, 韩银俊, 屠要峰, 舒继武. 一种持久性内存文件系统数据页的混合管理机制[J]. 计算机研究与发展, 2020, 57(2): 281-290.
[7]田俊峰, 王彦骉. 一种基于HashGraph的NoSQL型分布式存储因果一致性模型[J]. 计算机研究与发展, 2020, 57(12): 2703-2716.
[8]张耀, 储佳佳, 翁楚良. 纠删码存储系统数据更新方法研究综述[J]. 计算机研究与发展, 2020, 57(11): 2419-2431.
[9]吴尚宇, 谢婧雯, 王毅. 面向键值存储的日志结构合并树优化技术[J]. 计算机研究与发展, 2020, 57(11): 2432-2441.
[10]曾高雄, 胡水海, 张骏雪, 陈凯. 数据中心网络传输协议综述[J]. 计算机研究与发展, 2020, 57(1): 74-84.
[11]王海涛,李战怀,张晓,赵晓南. 一种基于LSM树的键值存储系统性能优化方法[J]. 计算机研究与发展, 2019, 56(8): 1792-1802.
[12]张文韬,汪璐,程耀东. 基于强化学习的Lustre文件系统的性能调优[J]. 计算机研究与发展, 2019, 56(7): 1578-1586.
[13]唐英杰,王芳,谢燕文. 纠删码存储系统中基于网络计算的高效故障重建方法[J]. 计算机研究与发展, 2019, 56(4): 767-778.
[14]游理通,王振杰,黄林鹏. 一个基于日志结构的非易失性内存键值存储系统[J]. 计算机研究与发展, 2018, 55(9): 2038-2049.
[15]刘佩,蒋梓逸,曹袖. 一种基于分布式存储系统中多节点修复的节点选择算法[J]. 计算机研究与发展, 2018, 55(7): 1557-1568.





PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3859
闂佺懓鍚嬬划搴ㄥ磼閿燂拷2婵炴垶鎸稿ú銊╋綖閹烘鍤€闁告劦浜為崺锟犳煠閺夊灝鏆㈤柣锕€顦甸幃浠嬫濞戞碍鎲ゆ繛鎴炴鐠侊絿妲愬▎鎰剁矗婵☆垵娅e銊╂煥濞戞ḿ鐒锋い顐㈩儐閿涙劙骞嬮婊咁槴闂佺ǹ绻愮粔鐑藉垂閸岀偞鍋ㄩ柨鐕傛嫹
婵犮垹鐖㈤崶褍濮ら梺鍛婂笒濡盯顢旈姀銈嗩棄閻庯綆鍠栭崢鎾煛閸曢潧鐏fい鎴濇处缁嬪鍩€椤掆偓閳诲酣妾遍柍褜鍓欓崯浼存偉濞差亝鏅悘鐐电摂閸ょ姴霉濠婂啴顎楁い鈹嫭濯撮柡鍥╁枔閸欌偓闂佸綊娼цぐ鐐电箔閹惧鈻旀慨妯诲墯閸わ箓鏌熺粙鎸庢悙闁伙綁绠栧顐⑩枎閹邦厾绋勯梺鎸庣☉閺堫剟宕归妸褎濯奸柛娑橈攻缁犳帞鈧灚婢橀悧鍡浰囬崸妤佸仾闁硅揪闄勯敍鏍煏閸℃洖顣╮ee婵犮垹缍婇埀顒佺⊕閵嗗啴鏌涢幒鎴烆棞妞ゆ帞鍠愮粙濠囨偐閻㈢數效闂佸吋婢橀崯浼存偉閸濆媱搴㈡綇椤愮喎浜鹃柡鍥ㄦ皑閻熲晛鈽夐幘缈犱孩妞ゆ洝娅曞ḿ蹇涘川椤撗冩20濡ょ姷鍋犻幓顏嗘濠靛绠戦柤濮愬€楀▔銏犆瑰⿰鍐╊棥缂佸顕埀顒€婀遍崑鐔煎极閵堝鍎嶉柛鏇ㄥ墮閻﹀綊鎮楃憴鍕暡闁哄棌鍋撻梺鍝勵槹閸旀牠鎮¢敍鍕珰闁靛繆鍓濋悡娆愮箾婢跺绀€鐎殿噣鏀卞鍕吋閸曨厾妲戦梺鍝勫€介~澶屾兜閸洘鏅悘鐐靛亾缁犳帡姊婚崶锝呬壕闁荤喐娲戦懗璺衡枔閹达附鍎戦悗锝庡幘缁犳牠鏌℃径娑欏
相关话题/计算机 数据 优化 技术 结构

  • 领限时大额优惠券,享本站正版考研考试资料!
    大额优惠券
    优惠券领取后72小时内有效,10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材,产品类型包含电子书、题库、全套资料以及视频,无论您是考研复习、考证刷题,还是考前冲刺等,不同类型的产品可满足您学习上的不同需求。 ...
    本站小编 Free壹佰分学习网 2022-09-19
  • 主编寄语--纪念《计算机研究与发展》创刊六十周年
    徐志伟(中国科学院计算技术研究所北京100190)出版日期:2019-01-01Online:2019-01-01摘要/Abstract摘要:时光荏苒,《计算机研究与发展》已经走过六十年,其前身为《电子计算机动态》,创刊于1958年12月,是我国第一个计算机刊物。当时我国的计算机事业刚刚起步,《电子 ...
    本站小编 Free考研考试 2022-01-01
  • 祝贺《计算机研究与发展》创刊六十周年
    陈熙霖(中国科学院计算技术研究所北京100190)出版日期:2019-01-01Online:2019-01-01摘要/Abstract摘要:今年是改革开放四十周年,也是《计算机研究与发展》创刊六十周年。《计算机研究与发展》见证了中国计算机事业从无到有、从小到大的全过程。作为国内最早的,甚至在很长一 ...
    本站小编 Free考研考试 2022-01-01
  • 和《计算机研究与发展》一起成长
    陆汝钤(中国科学院数学与系统科学研究院)出版日期:2019-01-01Online:2019-01-01摘要/Abstract摘要:每年金秋总有两个节日紧随一起:中秋节和国庆节(按时间先后)。今年可不寻常,徐主编告诉我《计算机研究与发展》(以下简称《研发》)创刊60周年了。这是我国的第一个计算机刊物 ...
    本站小编 Free考研考试 2022-01-01
  • 闪存存储的重构与系统构建技术
    陆游游,杨者,舒继武(清华大学计算机科学与技术系北京100084)(luyouyou@tsinghua.edu.cn)出版日期:2019-01-01基金资助:国家自然科学基金项目(61772300,61327902)RevisitingtheArchitectureandSystemofFlash- ...
    本站小编 Free考研考试 2022-01-01
  • 面向控域的体系结构:一种智能万物互联的体系结构风格
    徐志伟,曾琛,朝鲁,彭晓晖(中国科学院计算技术研究所北京100190)(中国科学院大学北京100049)(zxu@ict.ac.cn)出版日期:2019-01-01基金资助:国家自然科学基金重点项目(61532016);中国科学院率先行动“****”(Y704061000)Zone-Oriented ...
    本站小编 Free考研考试 2022-01-01
  • 基于深度学习的数字几何处理与分析技术研究进展
    夏清,李帅,郝爱民,赵沁平(虚拟现实技术与系统国家重点实验室(北京航空航天大学)北京100083)(xiaqing@buaa.edu.cn)出版日期:2019-01-01DeepLearningforDigitalGeometryProcessingandAnalysis:AReviewXiaQin ...
    本站小编 Free考研考试 2022-01-01
  • 一种线性的在线AUC优化方法
    朱真峰,翟艳祥,叶阳东(郑州大学信息工程学院郑州450052)(iezfzhu@zzu.edu.cn)出版日期:2018-12-01基金资助:国家自然科学基金委员会-河南省人民政府人才培养联合基金项目(U1204610);国家自然科学基金项目(61772475,61502434);国家重点研发计划基 ...
    本站小编 Free考研考试 2022-01-01
  • 一种视觉信息融合数据手套设计研究
    王赋攀1,吴亚东1,2,杨文超3,杨帆4,侯佳鑫1,廖竞11(西南科技大学计算机科学与技术学院四川绵阳621010);2(西南科技大学四川省军民融合研究院四川绵阳621010);3(达闼科技成都有限公司成都610100);4(法国国家科学研究中心电子、计算与成像科学实验室(勃艮第大学)法国第戎210 ...
    本站小编 Free考研考试 2022-01-01
  • 基因表达数据中的局部模式挖掘研究综述
    姜涛1,李战怀21(SchoolofComputerandInformationEngineering,HenanUniversityofEconomicsandLaw,Zhengzhou450046);2(SchoolofComputerScience,NorthwesternPolytechni ...
    本站小编 Free考研考试 2022-01-01
  • 基于联合树的隐私高维数据发布方法
    张啸剑1,陈莉2,金凯忠1,孟小峰31(河南财经政法大学计算机与信息工程学院郑州450002);2(河南财经政法大学网络信息安全研究所郑州450046);3(中国人民大学信息学院北京100872)(xjzhang82@ruc.edu.cn)出版日期:2018-12-01基金资助:国家自然科学基金项目 ...
    本站小编 Free考研考试 2022-01-01