1(国防科技大学计算机学院 长沙 410073); 2(高性能计算国家重点实验室(国防科技大学) 长沙 410073); 3(中山大学数据科学与计算机学院 广州 510275) (jianliang.yi@foxmail.com)
出版日期: 2018-02-01基金资助:国家重点研发计划(2016YFB1000302);国家自然科学基金项目(U1611261,61433019,61402503);广东省引进创新创业团队项目(2016ZT06D211)Proxy Based Metadata Optimization and Implementation in Parallel Filesystem
Yi Jianliang1, Chen Zhiguang1, Xiao Nong1,2, Lu Yutong31(College of Computer, National University of Defense Technology, Changsha 410073); 2(State Key Laboratory of High Performance Computing (National University of Defense Technology), Changsha 410073); 3(School of Data and Computer Science, Sun Yat-sen University, Guangzhou 510275)
Online: 2018-02-01摘要/Abstract
摘要： 在高性能计算环境中，并行文件系统面临百万量级的客户端，这些客户端往往在同一时间段内发出大量并发I/O请求，使元数据服务器承载巨大的压力.另一方面，这些客户端发出的并发读写请求往往指向同一目录，导致很难将元数据负载调度到多个服务器上.为此，提出在并行文件系统的客户端和元数据服务器之间增加一级代理(proxy)，并给出相应的优化措施降低元数据服务器的负载.在元数据代理上实现2方面的优化:1)由于高性能计算程序往往并发访问大量的文件，可以考虑通过元数据聚合将大量请求合并成1个请求发送到元数据服务器上，降低元数据服务器的负载；2)高性能计算程序的并发I/O往往指向同一目录，而传统的元数据负载均衡机制一般采用子树划分的方法将元数据负载调度到多个元数据服务器上，无法实现针对同一目录元数据操作的负载均衡，通过代理将针对同一目录的元数据操作调度到多个元数据服务器上，实现细粒度的负载均衡.
参考文献
相关文章 15
| [1] | 杨帆, 张鹏, 王展, 元国军, 安学军. 基于在网计算加速的拜占庭容错算法[J]. 计算机研究与发展, 2021, 58(1): 164-177. |
| [2] | 马卿云, 季航旭, 赵宇海, 毛克明, 王国仁. 一种分布式异构带宽环境下的高效数据分区方法[J]. 计算机研究与发展, 2020, 57(12): 2683-2693. |
| [3] | 卢冰洁, 周俊, 曹珍富. 一种增强的多用户前向安全动态对称可搜索加密方案[J]. 计算机研究与发展, 2020, 57(10): 2104-2116. |
| [4] | 张强,梁杰,许胤龙,李永坤. 基于工作负载感知的固态硬盘阵列系统的架构设计与研究[J]. 计算机研究与发展, 2019, 56(4): 755-766. |
| [5] | 张乾龙, 侯锐, 杨思博, 赵博彦, 张立新. 体系结构模拟器在处理器设计过程中的作用[J]. 计算机研究与发展, 2019, 56(12): 2702-2719. |
| [6] | 王煜炜,刘敏,马诚,李鹏飞. 面向网络功能虚拟化的高性能负载均衡机制[J]. 计算机研究与发展, 2018, 55(4): 689-703. |
| [7] | 苏华友, 温文, 李东升. 面向GPU的单颗粒冷冻电镜软件RELION并行与优化[J]. 计算机研究与发展, 2018, 55(2): 409-417. |
| [8] | 刘炳涛,王达,叶笑春,范东睿,张志敏,唐志敏. 基于数据流块的空间指令调度方法[J]. 计算机研究与发展, 2017, 54(4): 750-763. |
| [9] | 胡海洋,姬朝配,胡华,葛季栋. 基于协作相容性的工作流任务分配优化方法[J]. 计算机研究与发展, 2017, 54(4): 872-885. |
| [10] | 李哲涛,臧浪,田淑娟,李仁发. 基于混合压缩感知的分簇式网络数据收集方法[J]. 计算机研究与发展, 2017, 54(3): 493-501. |
| [11] | 李琪,钟将,李雪. 基于启发策略的动态平衡图划分算法[J]. 计算机研究与发展, 2017, 54(12): 2851-2857. |
| [12] | 张洋,王达,叶笑春,朱亚涛,范东睿,李宏亮,谢向辉. 众核处理器片上网络的层次化全局自适应路由机制[J]. 计算机研究与发展, 2016, 53(6): 1211-1220. |
| [13] | 方民权,张卫民,周海芳. 集成众核上快速独立成分分析降维并行算法[J]. 计算机研究与发展, 2016, 53(5): 1136-1146. |
| [14] | 刘智翔,方勇,宋安平,徐磊,王晓伟,周丽萍,张武. 基于MRT-LBM方法的大规模可扩展并行计算研究[J]. 计算机研究与发展, 2016, 53(5): 1156-1165. |
| [15] | 肖中正，陈宁江，贾炅昊，张文博. 一种基于文件支持度的动态副本管理机制[J]. 计算机研究与发展, 2016, 53(2): 431-442. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3643
