蒲勇霖¹,于炯¹,鲁亮²,李梓杨¹,国冰磊¹,廖彬³

¹(新疆大学信息科学与工程学院 乌鲁木齐 830046);²(中国民航大学计算机科学与技术学院 天津 300300);³(新疆财经大学统计与数据科学学院 乌鲁木齐 830012) (puyonglin1991@foxmail.com)

出版日期: 2021-03-01


基金资助:国家自然科学基金项目(61862060, 61462079, 61562086, 61562078);新疆维吾尔自治区研究生科研创新基金项目(XJ2019G038);新疆大学博士生科技创新基金项目(XJUBSCX-201902)

Energy-Efficient Strategy Based on Data Recovery in Storm

Pu Yonglin¹, Yu Jiong¹, Lu Liang², Li Ziyang¹, Guo Binglei¹, Liao Bin³

¹(School of Information Science and Engineering, Xinjiang University, Urumqi 830046);²(School of Computer Science and Technology, Civil Aviation University of China, Tianjin 300300);³(College of Statistics and Data Science, Xinjiang University of Finance and Economics, Urumqi 830012)

Online: 2021-03-01


Supported by:This work was supported by the National Natural Science Foundation of China (61862060, 61462079, 61562086, 61562078), the Research Innovation Project of Graduate Student in Xinjiang Uygur Autonomous Region (XJ2019G038), and the Doctoral Innovation Program of Xinjiang University (XJUBSCX-201902).

摘要/Abstract

摘要： 作为目前主流的大数据流式计算平台之一, Storm在设计之初以性能为目的进行研究而忽视了高能耗的问题, 但是其高能耗问题已经开始制约着平台的发展.针对这一问题, 分别建立了任务分配模型、拓扑信息监控模型、数据恢复模型以及能耗模型, 并进一步提出了基于Storm平台的数据恢复节能策略(energy-efficient strategy based on data recovery in Storm, DR-Storm), 包括吞吐量检测算法与数据恢复算法.其中吞吐量检测算法根据拓扑信息监控模型反馈的拓扑信息计算集群吞吐量, 并通过信息反馈判断是否终止整个集群内拓扑的任务.数据恢复算法根据数据恢复模型选择备份节点用于数据存储, 并通过拓扑信息监控模型反馈的信息判断集群拓扑是否进行数据恢复.此外, DR-Storm通过备份节点内存恢复集群拓扑内的数据, 并根据大数据流式计算的系统延迟与能效评估DR-Storm.实验结果表明：与现有研究成果相比, DR-Storm在减少系统计算延迟、降低集群功率的同时, 有效节约了能耗.

参考文献

相关文章 15

[1]	魏征, 窦禹, 高艳珍, 马捷, 孙凝晖, 邢晶. 一种基于条带的一致性散列数据放置算法[J]. 计算机研究与发展, 2021, 58(4): 888-903.
[2]	徐光伟, 史春红, 冯向阳, 罗辛, 石秀金, 韩松桦, 李玮. 基于多级网络编码的多副本云数据存储[J]. 计算机研究与发展, 2021, 58(2): 293-304.
[3]	林霄, 姬硕, 岳胜男, 孙卫强, 胡卫生. 面向跨数据中心网络的节点约束存储转发调度方法[J]. 计算机研究与发展, 2021, 58(2): 319-337.
[4]	许丹亚, 王晶, 王利, 张伟功. 基于Spark的大数据访存行为跨层分析工具[J]. 计算机研究与发展, 2020, 57(6): 1179-1190.
[5]	申毅杰, 曾丹, 熊劲. 基于收益模型的Spark SQL数据重用机制[J]. 计算机研究与发展, 2020, 57(2): 318-332.
[6]	赵慧慧, 赵凡, 陈仁海, 冯志勇. 基于地理空间大数据的高效索引与检索算法[J]. 计算机研究与发展, 2020, 57(2): 333-345.
[7]	陈叶旺, 申莲莲, 钟才明, 王田, 陈谊, 杜吉祥. 密度峰值聚类算法综述[J]. 计算机研究与发展, 2020, 57(2): 378-394.
[8]	胡学钢, 刘菲, 卜晨阳. 教育大数据中认知跟踪模型研究进展[J]. 计算机研究与发展, 2020, 57(12): 2523-2546.
[9]	段文雪, 胡铭, 周琼, 吴庭明, 周俊龙, 刘晓, 魏同权, 陈铭松. 云计算系统可靠性研究综述[J]. 计算机研究与发展, 2020, 57(1): 102-123.
[10]	邢宝平,吕梦圆,金培权,黄国锐,岳丽华. 面向绿色数据中心的能耗有效查询优化技术[J]. 计算机研究与发展, 2019, 56(9): 1821-1831.
[11]	王继业,周碧玉,张法,石翔,曾楠,刘志勇. 数据中心能耗模型及能效算法综述[J]. 计算机研究与发展, 2019, 56(8): 1587-1603.
[12]	孙鉴,李战怀,李强,张晓,赵晓南. 基于能耗梯度的SSD功率建模方法研究[J]. 计算机研究与发展, 2019, 56(8): 1772-1782.
[13]	艾科,马国帅,杨凯凯,钱宇华. 一种基于集成学习的科研合作者潜力预测分类方法[J]. 计算机研究与发展, 2019, 56(7): 1383-1395.
[14]	高腾飞,刘勇琰,汤云波,张垒,陈丹. 面向时间序列大数据海量并行贝叶斯因子化分析方法[J]. 计算机研究与发展, 2019, 56(7): 1567-1577.
[15]	国冰磊,于炯,杨德先,廖彬. 面向关系数据库查询的能耗建模及计划评价[J]. 计算机研究与发展, 2019, 56(4): 810-824.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4381