(西北工业大学计算机学院 西安 710129) (大数据存储与管理工业和信息化部重点实验室(西北工业大学) 西安 710129) (wanght@mail.nwpu.edu.cn)
出版日期: 2019-08-01基金资助:国家重点研发计划项目(2018YFB1004401)；国家自然科学基金青年科学基金项目(61502392)；国家自然基金面上项目(61472323)A Performance Optimization Method for Key-Value Store Based on LSM-tree
Wang Haitao, Li Zhanhuai, Zhang Xiao, Zhao Xiaonan(School of Computer Science, Northwestern Polytechnical University, Xi’an 710129) (Key Laboratory of Big Data Storage and Management (Northwestern Polytechnical University), Ministry of Industry and Information Technology, Xi’an 710129)
Online: 2019-08-01摘要/Abstract
摘要： 目前，键值(key-value, KV)存储系统在众多数据密集型的应用系统中发挥着关键作用，例如页面索引、电子商务以及云存储系统等.在各种键值存储系统中，基于日志结构合并(log-structured merge, LSM)树的KV存储系统获得了广泛的应用.主要原因是基于LSM树的KV存储系统能够将随机写操作转化为顺序写操作，从而提升数据写性能.然而，这些存储系统也存在一些严重的性能问题.一方面，KV存储系统利用预写日志机制来保证写入数据的原子性和安全性，以便在系统发生故障时进行恢复，造成了数据的写放大.同时，日志的频繁更新也引入了严重的元数据负载，导致了额外的性能开销.另一方面，KV存储系统通常利用通用文件系统存储数据，而通用文件系统中许多KV存储系统不需要的功能和属性也会造成一定的性能开销.为了减小这些开销、提升KV存储系统写入性能，提出了RocksFS，一个针对基于LSM树的KV存储系统优化的文件系统.针对KV存储系统的负载模式简化文件系统结构，去除通用文件系统引入的负载，同时优化预写日志的存储结构和更新流程以减小其更新负载，提升写入性能.最后在普通硬盘和固态硬盘上，基于流行的KV存储系统RocksDB验证了该方法的有效性，结果显示相对于通用文件系统，RocksFS能够将小块KV数据写入和更新性能提高约8倍.
参考文献
相关文章 15
| [1] | 韩书楷, 熊子威, 蒋德钧, 熊劲. 基于持久化内存的索引设计重新思考与优化[J]. 计算机研究与发展, 2021, 58(2): 356-370. |
| [2] | 陈茂棠, 郑圣安, 游理通, 王晶钰, 闫田, 屠要峰, 韩银俊, 黄林鹏. 一种基于RDMA多播机制的分布式持久性内存文件系统[J]. 计算机研究与发展, 2021, 58(2): 384-396. |
| [3] | 安仲奇, 张云尧, 邢晶, 霍志刚. 基于用户级融合I/O的Key-Value存储系统优化技术研究[J]. 计算机研究与发展, 2020, 57(3): 649-659. |
| [4] | 陈波, 陆游游, 蔡涛, 陈游旻, 屠要峰, 舒继武. 一种分布式持久性内存文件系统的一致性机制[J]. 计算机研究与发展, 2020, 57(3): 660-667. |
| [5] | 陈游旻, 朱博弘, 韩银俊, 屠要峰, 舒继武. 一种持久性内存文件系统数据页的混合管理机制[J]. 计算机研究与发展, 2020, 57(2): 281-290. |
| [6] | 吴尚宇, 谢婧雯, 王毅. 面向键值存储的日志结构合并树优化技术[J]. 计算机研究与发展, 2020, 57(11): 2432-2441. |
| [7] | 陈游旻,陆游游,罗圣美,舒继武. 基于RDMA的分布式存储系统研究综述[J]. 计算机研究与发展, 2019, 56(2): 227-239. |
| [8] | 游理通,王振杰,黄林鹏. 一个基于日志结构的非易失性内存键值存储系统[J]. 计算机研究与发展, 2018, 55(9): 2038-2049. |
| [9] | 易建亮, 陈志广, 肖侬, 卢宇彤. 基于代理的并行文件系统元数据优化与实现[J]. 计算机研究与发展, 2018, 55(2): 438-446. |
| [10] | 蒋捷,杨仝,张梦瑜,代亚非,黄亮,郑廉清. DCuckoo：基于片内摘要的高性能散列表[J]. 计算机研究与发展, 2017, 54(11): 2508-2515. |
| [11] | 蔡涛,张永春,牛德姣,倪晓蓉,梁东莺. 面向新型非易失存储器的文件级磨损均衡机制[J]. 计算机研究与发展, 2015, 52(7): 1558-1566. |
| [12] | 万虎,徐远超,闫俊峰,孙凤芸,张伟功. 通过非易失存储和检查点优化缓解日志开销[J]. 计算机研究与发展, 2015, 52(6): 1351-1361. |
| [13] | 李玮,张大方,谢鲲,黎文伟,何杰. 一种面向闪存键值存储的矩阵索引布鲁姆过滤器[J]. 计算机研究与发展, 2015, 52(5): 1210-1222. |
| [14] | 肖中正, 陈宁江, 魏峻, 张文博. 一种面向海量存储系统的高效元数据集群管理方案[J]. 计算机研究与发展, 2015, 52(4): 929-942. |
| [15] | 陈 起,陈左宁,蒋金虎. MDDS：一种面向高性能计算的并行文件系统元数据性能提升方法[J]. 计算机研究与发展, 2014, 51(8): 1663-1670. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3996
