屠要峰^1,2,陈正华²,韩银俊²,陈兵¹,关东海¹

¹(南京航空航天大学计算机科学与技术学院 南京 211106);²(中兴通讯股份有限公司 南京 210012) (tu.yaofeng@zte.com.cn)

出版日期: 2021-02-01


基金资助:国家重点研发计划项目(2018YFB1003301)；江苏省重点研发计划项目(BE2019012)

MixStore: Back-End Storage Based on Persistent Memory and SSD

Tu Yaofeng^1,2, Chen Zhenghua², Han Yinjun², Chen Bing¹, Guan Donghai¹

¹(Department of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 211106);²(ZTE Corporation, Nanjing 210012)

Online: 2021-02-01


Supported by:This work was supported by the National Key Research and Development Program of China (2018YFB1003301) and the Key Research and Development Program of Jiangsu Province(BE2019012).

摘要/Abstract

摘要： 持久性内存(persistent memory, PMEM)同时具备内存的低时延字节寻址和磁盘的持久化特性，将对现有软件架构体系产生革命性的变化和深远的影响.分布式存储在云计算和数据中心得到了广泛的应用，然而现有的以Ceph BlueStore为代表的后端存储引擎是面向传统机械盘和固态硬盘(solid state disk, SSD)设计的，其原有的优化设计机制不适合PMEM特性优势的发挥.提出了一种基于持久性内存和SSD的后端存储MixStore，通过易失区段标记和待删除列表技术实现了适用于持久性内存的并发跳表，用于替代RocksDB实现元数据管理机制，在保证事务一致性的同时，消除了BlueStore的compaction所引发的性能抖动等问题，同时提升元数据的并发访问性能；通过结合元数据管理机制的数据对象存储优化设计，把非对齐的小数据对象存放在PMEM中，把对齐的大块数据对象存储在SSD上，充分发挥了PMEM的字节寻址、持久性特性和SSD的大容量低成本优势，并结合延迟写入和CoW(copy-on-write)技术实现数据更新策略优化，消除了BlueStore的WAL日志引起的写放大，提升小数据写入性能.测试结果表明，在同样的硬件环境下,相比BlueStore，MixStore的写吞吐提升59%，写时延降低了37%，有效地提升了系统的性能.

参考文献

相关文章 14

[1]	闫玮, 张兴军, 纪泽宇, 董小社, 姬辰肇. 基于持久性内存的单向移动B+树[J]. 计算机研究与发展, 2021, 58(2): 371-383.
[2]	陈茂棠, 郑圣安, 游理通, 王晶钰, 闫田, 屠要峰, 韩银俊, 黄林鹏. 一种基于RDMA多播机制的分布式持久性内存文件系统[J]. 计算机研究与发展, 2021, 58(2): 384-396.
[3]	汪庆, 朱博弘, 舒继武. 一种多核友好的持久性内存键值系统[J]. 计算机研究与发展, 2021, 58(2): 397-405.
[4]	杨帆, 李飞, 舒继武. 安全持久性内存存储研究综述[J]. 计算机研究与发展, 2020, 57(5): 912-927.
[5]	陈波, 陆游游, 蔡涛, 陈游旻, 屠要峰, 舒继武. 一种分布式持久性内存文件系统的一致性机制[J]. 计算机研究与发展, 2020, 57(3): 660-667.
[6]	何柯文, 张佳辰, 刘晓光, 王刚. 新型存储设备上重复数据删除指纹查找优化[J]. 计算机研究与发展, 2020, 57(2): 269-280.
[7]	陈游旻, 朱博弘, 韩银俊, 屠要峰, 舒继武. 一种持久性内存文件系统数据页的混合管理机制[J]. 计算机研究与发展, 2020, 57(2): 281-290.
[8]	陈娟,胡庆达,陈游旻,陆游游,舒继武,杨晓辉. 一种基于微日志的持久性事务内存系统[J]. 计算机研究与发展, 2018, 55(9): 2029-2037.
[9]	刘珂, 蔡晓军, 张志勇, 赵梦莹, 贾智平. 基于高性能SOC FPGA阵列的NVM验证架构设计与验证[J]. 计算机研究与发展, 2018, 55(2): 265-272.
[10]	陆克中,朱金彬,李正民,隋秀峰. 面向固态硬盘的Spark数据持久化方法设计[J]. 计算机研究与发展, 2017, 54(6): 1381-1390.
[11]	周维,路劲,周可人,王世普,姚绍文. 基于并发跳表的云数据处理双层索引架构研究[J]. 计算机研究与发展, 2015, 52(7): 1531-1545.
[12]	骆歆远,陈刚,伍赛. 基于GPU加速的超精简型编码数据库系统[J]. 计算机研究与发展, 2015, 52(2): 362-376.
[13]	刘靖宇, 郑 军, 李元章, 孙志卓, 王文明, 谭毓安,. 混合S-RAID:一种适于连续数据存储的节能数据布局[J]. 计算机研究与发展, 2013, 50(1): 37-48.
[14]	陈志广 肖 侬 刘 芳 杜溢墨. 一种用磁盘备份SSD的高性能可靠存储系统[J]. 计算机研究与发展, 2013, 50(1): 80-89.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4354