1(新疆大学信息科学与工程学院 乌鲁木齐 830046);2(新疆财经大学统计与信息学院 乌鲁木齐 830012);3(国网乌鲁木齐供电公司 乌鲁木齐 830011) (luliang19891108@gmail.com)
出版日期: 2018-01-01基金资助:国家自然科学基金项目(61462079，61262088，61562086，61363083，61562078)；新疆维吾尔自治区自然科学基金项目(2017D01A20)；新疆维吾尔自治区高校科研计划基金项目(XJEDU2016S106)A Task Migration Strategy in Big Data Stream Computing with Storm
Lu Liang1, Yu Jiong1, Bian Chen1, Liu Yuechao1, Liao Bin2, Li Huijuan31(School of Information Science and Engineering, Xinjiang University, Urumqi 830046);2(School of Statistics and Information, Xinjiang University of Finance and Economics, Urumqi 830012);3(Wulumuqi Electric Power Supply Company, State Grid Corporation of China, Urumqi 830011)
Online: 2018-01-01摘要/Abstract
摘要： Storm作为流式计算模式下最具代表性的平台之一，其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异，以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销，无法充分发挥集群的性能.为了在各类资源约束的前提下最小化通信开销，在建立并论证Storm资源约束模型、最优通信开销模型和任务迁移模型的基础上，提出一种异构Storm环境下的任务迁移策略(task migration strategy for heterogeneous Storm cluster， TMSH-Storm)，包括源节点选择算法和任务迁移算法.其中，源节点选择算法根据集群中各工作节点CPU、内存和网络带宽的负载情况以及各类资源的优先级顺序，将超出阈值的节点加入源节点集；任务迁移算法综合迁移开销、通信开销、节点资源约束以及节点和任务负载等因素，依次将源节点中的待迁移任务异步迁移至目的节点上.实验表明：相对于现有研究而言，TMSH-Storm能有效降低延迟和节点间通信开销，且执行开销较小.
参考文献
相关文章 15
| [1] | 蒲勇霖, 于炯, 鲁亮, 李梓杨, 国冰磊, 廖彬. 基于Storm平台的数据恢复节能策略[J]. 计算机研究与发展, 2021, 58(3): 479-496. |
| [2] | 林霄, 姬硕, 岳胜男, 孙卫强, 胡卫生. 面向跨数据中心网络的节点约束存储转发调度方法[J]. 计算机研究与发展, 2021, 58(2): 319-337. |
| [3] | 许丹亚, 王晶, 王利, 张伟功. 基于Spark的大数据访存行为跨层分析工具[J]. 计算机研究与发展, 2020, 57(6): 1179-1190. |
| [4] | 陆乐, 孙玉娥, 黄河, 汪润枝, 曹振. 分布式监测系统中的重复元素检测机制[J]. 计算机研究与发展, 2020, 57(5): 1046-1056. |
| [5] | 乐光学, 戴亚盛, 杨晓慧, 刘建华, 游真旭, 朱友康. 边缘计算可信协同服务策略建模[J]. 计算机研究与发展, 2020, 57(5): 1080-1102. |
| [6] | 申毅杰, 曾丹, 熊劲. 基于收益模型的Spark SQL数据重用机制[J]. 计算机研究与发展, 2020, 57(2): 318-332. |
| [7] | 赵慧慧, 赵凡, 陈仁海, 冯志勇. 基于地理空间大数据的高效索引与检索算法[J]. 计算机研究与发展, 2020, 57(2): 333-345. |
| [8] | 陈叶旺, 申莲莲, 钟才明, 王田, 陈谊, 杜吉祥. 密度峰值聚类算法综述[J]. 计算机研究与发展, 2020, 57(2): 378-394. |
| [9] | 胡学钢, 刘菲, 卜晨阳. 教育大数据中认知跟踪模型研究进展[J]. 计算机研究与发展, 2020, 57(12): 2523-2546. |
| [10] | 艾科,马国帅,杨凯凯,钱宇华. 一种基于集成学习的科研合作者潜力预测分类方法[J]. 计算机研究与发展, 2019, 56(7): 1383-1395. |
| [11] | 高腾飞,刘勇琰,汤云波,张垒,陈丹. 面向时间序列大数据海量并行贝叶斯因子化分析方法[J]. 计算机研究与发展, 2019, 56(7): 1567-1577. |
| [12] | 王悦,樊凯. 隐藏访问策略的高效CP-ABE方案[J]. 计算机研究与发展, 2019, 56(10): 2151-2159. |
| [13] | 杨国强,丁杭超,邹静,蒋瀚,陈彦琴. 基于高性能密码实现的大数据安全方案[J]. 计算机研究与发展, 2019, 56(10): 2207-2215. |
| [14] | 郑庆华,董博,钱步月,田锋,魏笔凡,张未展,刘均. 智慧教育研究现状与发展趋势[J]. 计算机研究与发展, 2019, 56(1): 209-224. |
| [15] | 王攀,杨平利,黄少华,林成地,孔龙星. 最小通信开销的Direct Send并行图像合成方法[J]. 计算机研究与发展, 2018, 55(4): 885-892. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3605
