删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

一种持久性内存文件系统数据页的混合管理机制

本站小编 Free考研考试/2022-01-01

陈游旻1, 朱博弘1, 韩银俊2, 屠要峰2, 舒继武1
1(清华大学计算机科学与技术系 北京 100084);2(中兴通讯股份有限公司 南京 210012) (chenym16@mails.tsinghua.edu.cn)
出版日期: 2020-02-01


基金资助:国家重点研发计划项目(2018YFB1003301);中兴通讯股份有限公司合作项目(20182002008);广东省科技创新战略专项项目(2018B010109002)

A Hybrid Approach for Managing Data Pages in Persistent Memory File Systems

Chen Youmin1, Zhu Bohong1, Han Yinjun2, Tu Yaofeng2, and Shu Jiwu1
1(Department of Computer Science and Technology, Tsinghua University, Beijing 100084);2(ZTE Corporation, Nanjing 210012)
Online: 2020-02-01


Supported by:This work was supported by the National Key Research and Development Program of China (2018YFB1003301), the Project of ZTE (20182002008), and the Science and Technology Innovation Project of Guangdong Province (2018B010109002).




摘要/Abstract


摘要: 英特尔于2019年4月正式发布基于3D-Xpoint技术的傲腾持久性内存(Optane DC persistent memory),这为构建高效的持久性内存存储系统提供了新的机遇.然而,现有的存储系统软件并不能很好地利用其字节寻址特性,持久性内存性能很难充分发挥.提出一种文件系统数据页的混合管理机制HDPM,通过选择性使用写时复制机制和日志结构管理文件数据,充分发挥持久性内存字节可寻址特性,从而避免了传统单一模式在非对齐写或者小写造成的写放大问题.为避免影响读性能,HDPM引入逆向扫描机制,实现日志结构重构数据页时不引入额外数据拷贝.HDPM还提出一种多重垃圾回收机制进行日志清理.当单个日志结构过大时,通过读写流程主动回收日志结构;当持久性内存空间受限时,则通过后台线程使用免锁机制异步释放日志空间.实验显示,HDPM相比于NOVA文件系统,单线程写延迟降低达58%,且读延迟不受影响;Filebench多线程测试显示,HDPM相比于NOVA提升吞吐率33%.






[1]闫玮, 张兴军, 纪泽宇, 董小社, 姬辰肇. 基于持久性内存的单向移动B+[J]. 计算机研究与发展, 2021, 58(2): 371-383.
[2]陈茂棠, 郑圣安, 游理通, 王晶钰, 闫田, 屠要峰, 韩银俊, 黄林鹏. 一种基于RDMA多播机制的分布式持久性内存文件系统[J]. 计算机研究与发展, 2021, 58(2): 384-396.
[3]汪庆, 朱博弘, 舒继武. 一种多核友好的持久性内存键值系统[J]. 计算机研究与发展, 2021, 58(2): 397-405.
[4]屠要峰, 陈正华, 韩银俊, 陈兵, 关东海. 基于持久性内存和SSD的后端存储MixStore[J]. 计算机研究与发展, 2021, 58(2): 406-417.
[5]杨帆, 李飞, 舒继武. 安全持久性内存存储研究综述[J]. 计算机研究与发展, 2020, 57(5): 912-927.
[6]陈波, 陆游游, 蔡涛, 陈游旻, 屠要峰, 舒继武. 一种分布式持久性内存文件系统的一致性机制[J]. 计算机研究与发展, 2020, 57(3): 660-667.
[7]何柯文, 张佳辰, 刘晓光, 王刚. 新型存储设备上重复数据删除指纹查找优化[J]. 计算机研究与发展, 2020, 57(2): 269-280.
[8]吴尚宇, 谢婧雯, 王毅. 面向键值存储的日志结构合并树优化技术[J]. 计算机研究与发展, 2020, 57(11): 2432-2441.
[9]王海涛,李战怀,张晓,赵晓南. 一种基于LSM树的键值存储系统性能优化方法[J]. 计算机研究与发展, 2019, 56(8): 1792-1802.
[10]陈游旻,陆游游,罗圣美,舒继武. 基于RDMA的分布式存储系统研究综述[J]. 计算机研究与发展, 2019, 56(2): 227-239.
[11]陈娟,胡庆达,陈游旻,陆游游,舒继武,杨晓辉. 一种基于微日志的持久性事务内存系统[J]. 计算机研究与发展, 2018, 55(9): 2029-2037.
[12]游理通,王振杰,黄林鹏. 一个基于日志结构的非易失性内存键值存储系统[J]. 计算机研究与发展, 2018, 55(9): 2038-2049.
[13]易建亮, 陈志广, 肖侬, 卢宇彤. 基于代理的并行文件系统元数据优化与实现[J]. 计算机研究与发展, 2018, 55(2): 438-446.
[14]蔡涛,张永春,牛德姣,倪晓蓉,梁东莺. 面向新型非易失存储器的文件级磨损均衡机制[J]. 计算机研究与发展, 2015, 52(7): 1558-1566.
[15]万虎,徐远超,闫俊峰,孙凤芸,张伟功. 通过非易失存储和检查点优化缓解日志开销[J]. 计算机研究与发展, 2015, 52(6): 1351-1361.





PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4117
相关话题/计算机 数据 结构 优化 技术

  • 领限时大额优惠券,享本站正版考研考试资料!
    大额优惠券
    优惠券领取后72小时内有效,10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材,产品类型包含电子书、题库、全套资料以及视频,无论您是考研复习、考证刷题,还是考前冲刺等,不同类型的产品可满足您学习上的不同需求。 ...
    本站小编 Free壹佰分学习网 2022-09-19
  • 基于“采集—预测—迁移—反馈”机制的主动容错技术
    杨洪章1,杨雅辉1,屠要峰2,孙广宇3,吴中海11(北京大学软件与微电子学院北京102600);2(中兴通讯股份有限公司广东深圳518057);3(北京大学信息科学技术学院北京100871)(yanghongzhang@pku.edu.cn)出版日期:2020-02-01基金资助:国家重点研发计划项 ...
    本站小编 Free考研考试 2022-01-01
  • 基于生成矩阵变换的跨数据中心纠删码写入方法
    包涵1,2,王意洁1,2,许方亮21(并行与分布处理国家重点实验室(国防科技大学)长沙410073);2(国防科技大学计算机学院长沙410073)(hanb_nudt@foxmail.com)出版日期:2020-02-01基金资助:国家重点研发计划项目(2016YFB1000101);国家自然科学基 ...
    本站小编 Free考研考试 2022-01-01
  • 基于地理空间大数据的高效索引与检索算法
    赵慧慧1,2,赵凡2,3,陈仁海1,2,冯志勇1,21(天津大学智能与计算学部天津300350);2(天津大学深圳研究院广东深圳518000);3(天津大学国际工程师学院天津300350)(1442700849@qq.com)出版日期:2020-02-01基金资助:国家自然科学基金项目(617023 ...
    本站小编 Free考研考试 2022-01-01
  • 基于收益模型的Spark SQL数据重用机制
    申毅杰,曾丹,熊劲(计算机体系结构国家重点实验室(中国科学院计算技术研究所)北京100190)(中国科学院大学北京100049)(shenyijie@ict.ac.cn)出版日期:2020-02-01基金资助:国家重点研发计划项目(2016YFB1000202);国家自然科学基金项目(6137904 ...
    本站小编 Free考研考试 2022-01-01
  • 带权值的大规模社交网络数据隐私保护方法
    黄海平1,2,张东军1,2,王凯1,2,朱毅凯3,王汝传1,21(南京邮电大学计算机学院南京210023);2(江苏省无线传感网高技术研究重点实验室(南京邮电大学)南京210023);3(南京大学网络信息中心南京210023)(hhp@njupt.edu.cn)出版日期:2020-02-01基金资助 ...
    本站小编 Free考研考试 2022-01-01
  • 数据中心网络传输协议综述
    曾高雄,胡水海,张骏雪,陈凯(香港科技大学计算机科学与工程系香港999077)(kaichen@cse.ust.hk)出版日期:2020-01-01TransportProtocolsforDataCenterNetworks:ASurveyZengGaoxiong,HuShuihai,ZhangJ ...
    本站小编 Free考研考试 2022-01-01
  • 面向非易失内存的数据一致性研究综述
    肖仁智1,冯丹1,2,胡燏翀2,3,张晓祎1,程良锋21(华中科技大学武汉光电国家研究中心武汉430074);2(华中科技大学计算机科学与技术学院武汉430074);3(深圳华中科技大学研究院广东深圳518061)(rzxiao@hust.edu.cn)出版日期:2020-01-01基金资助:国家重 ...
    本站小编 Free考研考试 2022-01-01
  • 2019大数据知识工程及应用专题
    郑庆华(西安交通大学西安710049)出版日期:2019-12-01Online:2019-12-01摘要/Abstract摘要:实际工程问题的求解往往涉及跨领域、跨模态的海量碎片化知识,这些知识不能仅靠专家提供,而需要从环境中动态学习和融合生成.知识工程旨在研究计算机对知识的获取、表征和处理.随着 ...
    本站小编 Free考研考试 2022-01-01
  • 基于邻节点和关系模型优化的网络表示学习
    冶忠林1,2,3,赵海兴1,2,3,张科1,3,朱宇1,3,肖玉芝1,31(青海师范大学计算机学院西宁810008);2(陕西师范大学计算机科学学院西安710119);3(藏文信息处理教育部重点实验室(青海师范大学)西宁810008)(zhonglin_ye@foxmail.com)出版日期:201 ...
    本站小编 Free考研考试 2022-01-01
  • 体系结构模拟器在处理器设计过程中的作用
    张乾龙1,2,侯锐3,杨思博4,赵博彦3,张立新11(中国科学院计算技术研究所北京100190);2(中国科学院大学北京100049);3(中国科学院信息工程研究所北京100093);4(北京大学软件与微电子学院北京100871)(zhangqianlong@ict.ac.cn)出版日期:2019- ...
    本站小编 Free考研考试 2022-01-01