陈波^1,2,陆游游²,蔡涛¹,陈游旻²,屠要峰³,舒继武²

¹(江苏大学计算机科学与通信工程学院 江苏镇江 212013);²(清华大学计算机科学与技术系 北京 100084);³(中兴通讯股份有限公司 南京 210012) (chenbo_9312@163.com)

出版日期: 2020-03-01


基金资助:国家重点研发计划项目(2018YFB1003301)；国家自然科学基金重点项目(61832011,61772300)；国家自然科学基金项目(61806086)；中兴通讯股份有限公司合作项目(20182002008)

A Consistency Mechanism for Distributed Persistent Memory File System

Chen Bo^1,2, Lu Youyou², Cai Tao¹, Chen Youmin², Tu Yaofeng³, Shu Jiwu²

¹(School of Computer Science and Communication Engineering, Jiangsu University, Zhenjiang, Jiangsu 212013);²(Department of Computer Science and Technology, Tsinghua University, Beijing 100084);³(ZTE Corporation, Nanjing 210012)

Online: 2020-03-01


Supported by:This work was supported by the National Key Research and Development Program of China (2018YFB1003301), the Key Program of the National Natural Science Foundation of China (61832011, 61772300), the National Natural Science Foundation of China (61806086), and the Cooperative Project of ZTE Corporation (20182002008).

摘要/Abstract

摘要： 持久性内存(persistent memory, PM)和远程直接内存访问(remote direct memory access, RDMA)具有高带宽、低延迟的硬件性能，这为设计高性能的分布式存储系统提供了新的机遇.然而，它们这些新的特性为高效的数据一致性管理引出了诸多问题：一方面，持久性内存数据一致性依赖于CPU主动执行硬件指令刷写缓存实现，而这类指令开销极高，严重影响CPU处理性能；另一方面，RDMA在服务器端CPU不参与的情况下直接读写服务器端内存，因此服务器端CPU无法主动感知数据写入事件以执行数据刷写操作，一旦系统崩溃会造成数据不一致的问题.针对以上2个问题，提出一种分布式持久性内存文件系统的一致性机制(crash consistency mechanism， CCM)：首先设计实现了基于操作日志的一致性保障策略，通过将每次操作的元信息记录至日志，并持久化，以保障系统的一致性状态；其次，设计了一种客户端对服务器端的远程写一致性策略，在完成数据传输的同时使服务器端CPU主动执行数据刷写；最后实现了一种服务器端的数据异步持久化，以提高系统的处理能力.测试结果表明，基于CCM的文件系统写吞吐可达到网络裸带宽的88%.相比于现有系统Octopus，CCM性能下降控制在1%以内.

参考文献

相关文章 15

[1]	闫玮, 张兴军, 纪泽宇, 董小社, 姬辰肇. 基于持久性内存的单向移动B+树[J]. 计算机研究与发展, 2021, 58(2): 371-383.
[2]	陈茂棠, 郑圣安, 游理通, 王晶钰, 闫田, 屠要峰, 韩银俊, 黄林鹏. 一种基于RDMA多播机制的分布式持久性内存文件系统[J]. 计算机研究与发展, 2021, 58(2): 384-396.
[3]	汪庆, 朱博弘, 舒继武. 一种多核友好的持久性内存键值系统[J]. 计算机研究与发展, 2021, 58(2): 397-405.
[4]	屠要峰, 陈正华, 韩银俊, 陈兵, 关东海. 基于持久性内存和SSD的后端存储MixStore[J]. 计算机研究与发展, 2021, 58(2): 406-417.
[5]	王婕婷, 钱宇华, 李飞江, 刘郭庆. 消除随机一致性的支持向量机分类方法[J]. 计算机研究与发展, 2020, 57(8): 1581-1593.
[6]	杨帆, 李飞, 舒继武. 安全持久性内存存储研究综述[J]. 计算机研究与发展, 2020, 57(5): 912-927.
[7]	何柯文, 张佳辰, 刘晓光, 王刚. 新型存储设备上重复数据删除指纹查找优化[J]. 计算机研究与发展, 2020, 57(2): 269-280.
[8]	陈游旻, 朱博弘, 韩银俊, 屠要峰, 舒继武. 一种持久性内存文件系统数据页的混合管理机制[J]. 计算机研究与发展, 2020, 57(2): 281-290.
[9]	田俊峰, 王彦骉. 一种基于HashGraph的NoSQL型分布式存储因果一致性模型[J]. 计算机研究与发展, 2020, 57(12): 2703-2716.
[10]	曾高雄, 胡水海, 张骏雪, 陈凯. 数据中心网络传输协议综述[J]. 计算机研究与发展, 2020, 57(1): 74-84.
[11]	肖仁智, 冯丹, 胡燏翀, 张晓祎, 程良锋. 面向非易失内存的数据一致性研究综述[J]. 计算机研究与发展, 2020, 57(1): 85-101.
[12]	田乃予,欧阳丹彤,刘梦,张立明. 基于子集一致性检测的诊断解极小性判定方法[J]. 计算机研究与发展, 2019, 56(7): 1396-1407.
[13]	何锡明,马胜,黄立波,陈微,王志英. 一种基于自更新的简单高效Cache一致性协议[J]. 计算机研究与发展, 2019, 56(4): 719-729.
[14]	陈游旻,陆游游,罗圣美,舒继武. 基于RDMA的分布式存储系统研究综述[J]. 计算机研究与发展, 2019, 56(2): 227-239.
[15]	陈娟,胡庆达,陈游旻,陆游游,舒继武,杨晓辉. 一种基于微日志的持久性事务内存系统[J]. 计算机研究与发展, 2018, 55(9): 2029-2037.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4149