1(中国科学院软件研究所基础软件中心 北京 100190);2(中国科学院大学 北京 100049);3(帝国理工大学计算学院 伦敦 SW72AZ) (chunliang@nfs.iscas.ac.cn)
出版日期: 2018-01-01基金资助:中国科学院战略性先导科技专项(XDA06010600)Structures and State-of-Art Research of Cluster Scheduling in Big Data Background
Hao Chunliang1,2, Shen Jie3, Zhang Heng1,2, Wu Yanjun1, Wang Qing1, Li Mingshu11(National Engineering Research Center for Fundamental Software, Institute of Software, Chinese Academy of Sciences, Beijing 100190);2(University of Chinese Academy of Sciences, Beijing 100049);3(Department of Computing, Imperial College, London SW72AZ)
Online: 2018-01-01摘要/Abstract
摘要： 集群调度一直以来是集群计算方向的热点研究问题.集群调度研究主要关注在固定的集群资源条件下，数据处理作业如何快速、精确地获得所需运行资源，从而达到预先设定的执行目标.随着大数据计算的发展，集群环境在过去10年内持续且快速地发展变化，集群调度场景和目标也日趋复杂.尤其是在大数据背景下，传统集中调度结构的性能瓶颈被放大，研究者开始向全新的调度结构进行探索，应运而生了众多新思路、新结构.从大数据背景下集群调度研究的主要研究问题出发，分别介绍了大数据背景下的4种集群调度结构:集中结构、双层结构、分布式结构以及混合结构，并对各结构的产生原因、适用场景、优劣、典型研究工作、研究进展进行分析，并尝试对各结构的未来发展进行展望.
参考文献
相关文章 15
| [1] | 蒲勇霖, 于炯, 鲁亮, 李梓杨, 国冰磊, 廖彬. 基于Storm平台的数据恢复节能策略[J]. 计算机研究与发展, 2021, 58(3): 479-496. |
| [2] | 林霄, 姬硕, 岳胜男, 孙卫强, 胡卫生. 面向跨数据中心网络的节点约束存储转发调度方法[J]. 计算机研究与发展, 2021, 58(2): 319-337. |
| [3] | 许丹亚, 王晶, 王利, 张伟功. 基于Spark的大数据访存行为跨层分析工具[J]. 计算机研究与发展, 2020, 57(6): 1179-1190. |
| [4] | 申毅杰, 曾丹, 熊劲. 基于收益模型的Spark SQL数据重用机制[J]. 计算机研究与发展, 2020, 57(2): 318-332. |
| [5] | 赵慧慧, 赵凡, 陈仁海, 冯志勇. 基于地理空间大数据的高效索引与检索算法[J]. 计算机研究与发展, 2020, 57(2): 333-345. |
| [6] | 陈叶旺, 申莲莲, 钟才明, 王田, 陈谊, 杜吉祥. 密度峰值聚类算法综述[J]. 计算机研究与发展, 2020, 57(2): 378-394. |
| [7] | 胡学钢, 刘菲, 卜晨阳. 教育大数据中认知跟踪模型研究进展[J]. 计算机研究与发展, 2020, 57(12): 2523-2546. |
| [8] | 艾科,马国帅,杨凯凯,钱宇华. 一种基于集成学习的科研合作者潜力预测分类方法[J]. 计算机研究与发展, 2019, 56(7): 1383-1395. |
| [9] | 高腾飞,刘勇琰,汤云波,张垒,陈丹. 面向时间序列大数据海量并行贝叶斯因子化分析方法[J]. 计算机研究与发展, 2019, 56(7): 1567-1577. |
| [10] | 王悦,樊凯. 隐藏访问策略的高效CP-ABE方案[J]. 计算机研究与发展, 2019, 56(10): 2151-2159. |
| [11] | 杨国强,丁杭超,邹静,蒋瀚,陈彦琴. 基于高性能密码实现的大数据安全方案[J]. 计算机研究与发展, 2019, 56(10): 2207-2215. |
| [12] | 郑庆华,董博,钱步月,田锋,魏笔凡,张未展,刘均. 智慧教育研究现状与发展趋势[J]. 计算机研究与发展, 2019, 56(1): 209-224. |
| [13] | 潘锋烽, 熊劲. NV-Shuffle：基于非易失内存的Shuffle机制[J]. 计算机研究与发展, 2018, 55(2): 229-245. |
| [14] | 吴林阳, 罗蓉, 郭雪婷, 郭崎. CPU和DRAM加速任务划分方法：大数据处理中Hash Joins的加速实例[J]. 计算机研究与发展, 2018, 55(2): 289-304. |
| [15] | 侯梦薇，卫荣，陆亮，兰欣，蔡宏伟. 知识图谱研究综述及其在医疗领域的应用[J]. 计算机研究与发展, 2018, 55(12): 2587-2599. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3604
