(国防科技大学计算机学院 长沙 410073) (国防科技大学并行与分布式处理国防科技重点实验室 长沙 410073) (shiyang14@nudt.edu.cn)
出版日期: 2021-12-01基金资助:国家重点研发计划项目(2016YFB1000400)；国家自然科学基金项目(61502509，61402504)A DAG-Based Network Traffic Scheduler
Shi Yang, Wen Mei, Fei Jiawei, Zhang Chunyuan(College of Computer Science and Technology, National University of Defense Technology, Changsha 410073) (National Key Laboratory for Parallel and Distributed Processing, National University of Defense Technology, Changsha 410073)
Online: 2021-12-01Supported by:This work was supported by the National Key Research and Development Program of China (2016YFB1000400) and the National Natural Science Foundation of China (61502509, 61402504).摘要/Abstract
摘要： 在如今的数据中心中，各种分布式任务往往会对各种不同的资源进行竞争，特别是网络资源.如果没有有效的网络调度，那么这种竞争就会降低整个数据中心的运行效率.以往的网络资源调度研究由于忽视了任务里计算与网络需求之间的具体关系，对于任务性能的提升十分有限.因此，旨在探索如何通过网络调度来缩短数据中任务的完成时间(job completion time, JCT)，从而提升数据中心的整体效率.通过对基于有向无环图(directed acyclic graph, DAG)的分布式任务的深度分析，发现可以在降低它们的网络占用的同时，却不影响它们的JCT.根据这个发现，提出了一个利用计算图来加速任务执行的网络调度器JIT.为了实现JIT，首先将调度问题建模成为一个整数线性规划问题(integer linear programming, ILP)，然后证明了这个ILP可以通过一个等价的线性规划模型(linear programming, LP)来快速求解.此外，通过一些合理的简化，将求解时间降低到了1s.与其他调度器的比较实验结果说明了JIT可以取得1.55倍的整体加速效果，从而有效提升数据中心的工作效率.
参考文献
相关文章 15
| [1] | 林霄, 姬硕, 岳胜男, 孙卫强, 胡卫生. 面向跨数据中心网络的节点约束存储转发调度方法[J]. 计算机研究与发展, 2021, 58(2): 319-337. |
| [2] | 曾高雄, 胡水海, 张骏雪, 陈凯. 数据中心网络传输协议综述[J]. 计算机研究与发展, 2020, 57(1): 74-84. |
| [3] | 高腾飞,刘勇琰,汤云波,张垒,陈丹. 面向时间序列大数据海量并行贝叶斯因子化分析方法[J]. 计算机研究与发展, 2019, 56(7): 1567-1577. |
| [4] | 何荣希，雷田颖，林子薇. 软件定义数据中心网络多约束节能路由算法[J]. 计算机研究与发展, 2019, 56(6): 1219-1230. |
| [5] | 赵宇海,印莹,李源,汪嗣尧,王国仁. 一种面向大规模序列数据的交互特征并行挖掘算法[J]. 计算机研究与发展, 2019, 56(5): 992-1006. |
| [6] | 段琼,田博,陈征,王洁,何增有. CUDA-TP:基于GPU的自顶向下完整蛋白质鉴定并行算法[J]. 计算机研究与发展, 2018, 55(7): 1525-1538. |
| [7] | 许刚,王展,臧大伟,安学军. 基于链路状态数据库的数据中心网络异常检测算法[J]. 计算机研究与发展, 2018, 55(4): 815-830. |
| [8] | 苏华友, 温文, 李东升. 面向GPU的单颗粒冷冻电镜软件RELION并行与优化[J]. 计算机研究与发展, 2018, 55(2): 409-417. |
| [9] | 刘旭, 杨章, 杨扬. 针对天河2号的一种嵌套剖分负载平衡算法[J]. 计算机研究与发展, 2018, 55(2): 418-425. |
| [10] | 王娟娟,乔颖,王宏安. 基于图模型的自动驾驶推理任务调度[J]. 计算机研究与发展, 2017, 54(8): 1693-1702. |
| [11] | 张鹏,段磊,秦攀,左劼,唐常杰,元昌安,彭舰. 基于Spark的Top-k对比序列模式挖掘[J]. 计算机研究与发展, 2017, 54(7): 1452-1464. |
| [12] | 邵恩,元国军,郇志轩,曹政,孙凝晖. 面向大规模计算集群的多轨分割网络[J]. 计算机研究与发展, 2017, 54(11): 2534-2546. |
| [13] | 王斌锋,苏金树,陈琳. 云计算数据中心网络设计综述[J]. 计算机研究与发展, 2016, 53(9): 2085-2106. |
| [14] | 许凯,吴小俊,尹贺峰. 基于分布式低秩表示的子空间聚类算法[J]. 计算机研究与发展, 2016, 53(7): 1605-1611. |
| [15] | 林灯,崔涛,冷伟,张林波. 一种求解地震波方程的高效并行谱元格式[J]. 计算机研究与发展, 2016, 53(5): 1147-1155. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4552
