删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

基于高性能I/O技术的Memcached优化研究

本站小编 Free考研考试/2022-01-01

闂傚倸鍊烽懗鍓佸垝椤栫偛绀夋俊銈呮噹缁犵娀鏌熼幑鎰靛殭闁告俺顫夐妵鍕棘閸喒鎸冮梺鍛婎殕瀹€鎼佸箖濡ゅ懏鏅查幖瀛樼箘閻╁海绱撴担椋庤窗闁革綇缍佸濠氭偄閻撳海顦ч梺鍏肩ゴ閺呮繈鎮¢崒鐐粹拺缂佸娉曢悞鍧楁煙閸戙倖瀚�2濠电姷鏁搁崑鐐哄垂閸洖绠扮紒瀣紩濞差亜惟闁冲搫顑囩粙蹇涙⒑閸︻厼鍔嬫い銊ユ瀹曠敻鍩€椤掑嫭鈷戦柛娑橈工婵箑霉濠婂懎浠辩€规洘妞介弫鎾绘偐瀹曞洤骞楅梻渚€娼х换鍫ュ磹閺嵮€妲堢憸鏃堝蓟閿濆鐒洪柛鎰典簼閸d即姊虹拠鈥虫殭闁搞儜鍥ф暪闂備焦瀵х换鍌毭洪姀銈呯;闁圭儤顨嗛埛鎴︽煕濠靛棗顏╅柍褜鍓欑紞濠囧箖闁垮缍囬柍鍝勫亞濞肩喖姊虹捄銊ユ珢闁瑰嚖鎷�
濠电姷鏁告慨浼村垂瑜版帗鍋夐柕蹇嬪€曢悙濠勬喐瀹ュ棙鍙忛柕鍫濐槹閳锋垿鏌涘☉姗堝伐缂佹甯楁穱濠囶敃閿濆洦鍒涘銈冨灪濡啯鎱ㄩ埀顒勬煏閸繃锛嶆俊顐㈠閺岋絾鎯旈婊呅i梺鍝ュУ閻楃姴鐣烽姀銈呯妞ゆ梻鏅崢鎼佹⒑閸涘﹥绀嬫繛浣冲洦鍊堕柨婵嗘娴滄粓鏌熺€涙ḿ绠栧璺哄缁辨帞鈧綆浜跺Ο鈧梺绯曟杹閸嬫挸顪冮妶鍡楀潑闁稿鎹囬弻宥囨嫚閺屻儱寮板┑锟犵畺娴滃爼寮诲鍫闂佸憡鎸婚悷鈺佺暦椤栨稑顕遍悗娑櫭禍顖氣攽閻愬弶鈻曞ù婊勭箞瀵煡顢楅崟顒€鈧爼鏌i幇顔芥毄闁硅棄鍊块弻娑㈠Χ閸ヮ灝銏ゆ婢跺绡€濠电姴鍊搁弳锝嗐亜鎼淬埄娈曢柕鍥у閸╃偤顢橀悙宸痪婵犳鍨遍幐鎶藉蓟閿熺姴鐐婇柍杞扮劍閻忎線姊洪崨濠勬喛闁稿鎹囧缁樻媴閸濄儳楔濠电偘鍖犻崱鎰睏闂佺粯鍔楅弫鍝ョ不閺冨牊鐓欓柟顖嗗苯娈堕梺宕囩帛濮婂綊骞堥妸銉庣喓鎷犻幓鎺濇浇闂備焦鎮堕崐褏绮婚幘璇茶摕闁绘棁娅i惌娆撴煙缁嬪灝顒㈤柟顔界懇濮婄儤瀵煎▎鎴犘滅紓浣哄У閻楁洟顢氶敐澶樻晝闁冲灈鏅滈悗濠氭⒑瑜版帒浜伴柛妯哄⒔缁瑩宕熼娑掓嫼闂佸湱枪濞寸兘鍩ユ径鎰厸闁割偒鍋勬晶瀵糕偓瑙勬礀缂嶅﹥淇婂宀婃Ъ婵犳鍨伴妶鎼佸蓟濞戞ǚ妲堟慨妤€鐗婇弫鍓х磽娴e搫校閻㈩垳鍋ら崺鈧い鎺嗗亾闁诲繑鑹鹃…鍨潨閳ь剟骞冭瀹曞崬霉閺夋寧鍠樼€规洜枪铻栧ù锝夋櫜閻ヮ亪姊绘担渚敯闁规椿浜浠嬪礋椤栨稒娅栭梺鍝勭▉閸樹粙鎮¤箛娑欑厱闁斥晛鍟粈鈧銈忕岛閺嗘竼e濠电姷鏁告慨浼村垂閸︻厾绀婂┑鐘叉搐閻掑灚銇勯幒宥堝厡闁愁垱娲熼弻鏇㈠幢濡も偓閺嗭綁鏌$仦鍓ф创妤犵偞甯¢獮瀣倻閸℃﹩妫у┑锛勫亼閸婃牜鏁悙鍝勭獥闁归偊鍠氶惌娆忊攽閻樺弶澶勯柛瀣姍閺岋綁濮€閵忊剝姣勯柡浣哥墦濮婄粯鎷呯粙鎸庡€┑鐘灪閿曘垹鐣烽娑橆嚤閻庢稒锚娴滎垶姊洪崨濠勭畵濠殿垵椴搁幆鏃堝閿涘嫮肖婵$偑鍊栭崝妤呭窗鎼淬垻顩插Δ锝呭暞閻撴盯鏌涢妷锝呭闁汇劍鍨块弻锝夋偄閸欏鐝旈梺瀹犳椤︾敻鐛Ο鑲╃闁绘ê宕銏′繆閻愵亜鈧牕煤濠靛棌鏋嶉柡鍥╁亶缂傛岸鐓崶銊р槈鐎瑰憡绻冮妵鍕箻濡も偓閸燁垶顢欓敓锟�20婵犲痉鏉库偓妤佹叏閻戣棄纾婚柣妯款嚙缁犲灚銇勮箛鎾搭棡妞ゎ偅娲樼换婵嬫濞戝崬鍓扮紓浣哄У閸ㄥ潡寮婚妶鍡樺弿闁归偊鍏橀崑鎾澄旈埀顒勫煝閺冨牆顫呴柣妯烘閹虫捇銈导鏉戠闁冲搫锕ラ敍鍛磽閸屾瑧顦︽い锔诲灦椤㈡岸顢橀姀鐘靛姦濡炪倖宸婚崑鎾寸節閳ь剟鏌嗗鍛紱闂佺粯姊婚崢褔寮告笟鈧弻鏇㈠醇濠垫劖效闂佺ǹ楠哥粔褰掑蓟濞戙垹鍗抽柕濞垮劚椤晠姊烘导娆戠暠缂傚秴锕獮鍐ㄎ旈崘鈺佹瀭闂佸憡娲﹂崣搴ㄥ汲閿熺姵鈷戦柛婵嗗椤ユ垿鏌涚€n偅宕屾慨濠冩そ瀹曨偊宕熼崹顐嵮囨⒑閸涘﹥鈷愰柣妤冨█楠炲啴鏁撻悩铏珫闂佸憡娲﹂崜娆撴偟娴煎瓨鈷戦梻鍫熺〒缁犳岸鏌涢幘瀵哥疄闁诡喒鈧枼鏋庨柟閭﹀枤椤旀洘绻濋姀锝嗙【妞ゆ垵妫涚划鍫ュ焵椤掑嫭鍊垫繛鍫濈仢濞呭秹鏌¢埀顒勫础閻戝棗娈梺鍛婃处閸嬫帡宕ョ€n喗鐓曢柡鍥ュ妼楠炴ɑ淇婇崣澶婄伌婵﹥妞藉畷顐﹀礋椤愮喎浜惧ù鐘差儜缂嶆牕顭跨捄鐑樻拱闁稿繑绮撻弻娑㈩敃閿濆棛顦ㄩ梺鍝勬媼閸撶喖骞冨鈧幃娆撴濞戞顥氱紓鍌欒兌婵數鏁垾鎰佹綎濠电姵鑹鹃悙濠囨煥濠靛棙鍣稿瑙勬礋濮婃椽鎳¢妶鍛€惧┑鐐插级閸ㄥ潡骞婂Δ鍐╁磯閻炴稈鍓濋悘渚€姊虹涵鍛涧闂傚嫬瀚板畷鏇㈠箣閿旇棄鈧敻鏌ㄥ┑鍡涱€楁鐐瘁缚缁辨帡鎮╁畷鍥р拰闂佸搫澶囬崜婵嗩嚗閸曨偀妲堟繛鍡楁禋娴硷拷
安仲奇1,杜昊1,2,李强1,霍志刚1,马捷1
1(中国科学院计算技术研究所高性能计算机研究中心 北京 100190); 2(中国科学院大学计算机与控制工程学院 北京 100049) (anzhongqi@ncic.ac.cn)
出版日期: 2018-04-01


基金资助:国家重点研发计划项目(2016YFB0200204,2016YFB0200300);国家自然科学基金青年科学基金项目(61402444,61502454)

Memcached Optimization on High Performance I/O Technology

An Zhongqi1, Du Hao1,2, Li Qiang1, Huo Zhigang1, Ma Jie1
1(High Performance Computer Research Center, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190) 2(School of Computer and Control Engineering, University of Chinese Academy of Sciences, Beijing 100049)
Online: 2018-04-01







摘要/Abstract


摘要: 内存对象缓存系统在通信方面受制于传统以太网的高延迟,在存储方面受限于服务器内可部署的内存规模,亟需融合新一代高性能I/O技术来提升性能、扩展容量.以广泛应用的Memcached为例,聚焦内存对象缓存系统的数据通路并基于高性能I/O对其进行通信加速与存储扩展.首先,基于日益流行的高性能远程直接内存访问(remote direct memory access, RDMA)语义重新设计通信协议,并针对不同的Memcached操作及消息大小设计不同的策略,降低了通信延迟.其次,利用高性能NVMe SSD来扩展Memcached存储,采用日志结构管理内存与外存2级存储,并通过用户级驱动实现对SSD的直接访问,降低了软件开销.最终,实现了支持JVM环境的高性能缓存系统U2cache.U2cache通过旁路操作系统内核和JVM运行时与内存拷贝、RDMA通信、SSD访问交叠流水的方法,显著降低了数据访问开销.实验结果表明,U2cache通信延迟接近RDMA底层硬件性能;对大消息而言,相较无优化版本,性能提高超过20%;访问SSD中的数据时,相比通过内核I/O软件栈的方式,访问延迟最高降低了31%.






[1]陈茂棠, 郑圣安, 游理通, 王晶钰, 闫田, 屠要峰, 韩银俊, 黄林鹏. 一种基于RDMA多播机制的分布式持久性内存文件系统[J]. 计算机研究与发展, 2021, 58(2): 384-396.
[2]安仲奇, 张云尧, 邢晶, 霍志刚. 基于用户级融合I/O的Key-Value存储系统优化技术研究[J]. 计算机研究与发展, 2020, 57(3): 649-659.
[3]陈波, 陆游游, 蔡涛, 陈游旻, 屠要峰, 舒继武. 一种分布式持久性内存文件系统的一致性机制[J]. 计算机研究与发展, 2020, 57(3): 660-667.
[4]曾高雄, 胡水海, 张骏雪, 陈凯. 数据中心网络传输协议综述[J]. 计算机研究与发展, 2020, 57(1): 74-84.
[5]陈游旻,陆游游,罗圣美,舒继武. 基于RDMA的分布式存储系统研究综述[J]. 计算机研究与发展, 2019, 56(2): 227-239.





PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3677
相关话题/计算机 通信 系统 数据 中国科学院

闂傚倸鍊风粈浣虹礊婵犲倴缂氱憸鏃堛€侀弽顓炲耿婵$偟绮弫鐘绘⒑闁偛鑻晶鎾煟閹垮啫浜扮€规洖澧庨幑鍕姜閺夋寧鐎抽梻鍌欑窔閳ь剛鍋涢懟顖涙櫠娴煎瓨鐓曢柣妯荤叀閸欏嫮鈧娲忛崹鑺ヤ繆閸洖鐐婇柕濞垮労娴兼洟姊洪懡銈呮瀾闁荤喆鍎抽埀顒佸嚬閸欏啫顕i幎钘夐唶闁靛濡囬崢閬嶆⒑瑜版帒浜伴柛鎾寸懇閵嗗啫鈻庨幋鐘碉紲闂佸憡鐟﹂敋鐎规挸妫涢埀顒冾潐濞插繘宕濋幋锕€鏋侀柟鍓х帛閺呮悂鏌ㄩ悤鍌涘闂傚倸鍊烽悞锔锯偓绗涘懐鐭欓柟杈鹃檮閸庢柨鈹戦崒姘暈闁稿鍠愮换娑㈠箣濞嗗繒浠肩紒缁㈠幐閸嬫捇姊虹拠鏌ヮ€楁繝鈧潏銊﹀弿閻庨潧鎽滄稉宥嗐亜閺嶎偄浠﹂柣鎾存礃缁绘盯宕卞Ο鍝勵潕婵犫拃灞藉缂佺粯绻堥崺鈧い鎺戝缁犮儲銇勯弮鈧崕鍐茬暦閵夈儮鏀介柣鎰级椤ョ偤鎮介婊冧槐濠碘€崇埣椤㈡洟鏁傞悾灞藉箰闂備胶枪閺堫剛绮欓幘璇茬疇闁糕剝鐟﹂崑鏍ㄧ箾閸℃ɑ灏伴柣鎾存礃娣囧﹪顢涘▎鎺濆妳闂佺ǹ瀛╅崹鍦閹捐纾兼慨妯哄悑妤旈梻渚€鈧偛鑻晶瀛樼箾娴e啿鍚樺☉妯锋闁靛繆鈧厖鍑芥繝鐢靛Т閿曘倝鎮ф繝鍥х柧妞ゆ帒瀚悡銉╂煟閺囩偛鈧湱鈧熬鎷�