(华东交通大学软件学院 南昌 330013) (wangyann@189.cn)
出版日期: 2020-03-01基金资助:国家自然科学基金项目(61402172)；江西省自然科学基金项目(20192BAB217006)Coding-Based Performance Improvement of Distributed Machine Learning in Large-Scale Clusters
Wang Yan, Li Nianshuang, Wang Xiling, Zhong Fengyan(School of Software, East China Jiaotong University, Nanchang 330013)
Online: 2020-03-01Supported by:This work was supported by the National Natural Science Foundation of China (61402172) and the Natural Science Foundation of Jiangxi Province of China (20192BAB217006).摘要/Abstract
摘要： 由于分布式计算系统能为大数据分析提供大规模的计算能力，近年来受到了人们的广泛关注.在分布式计算系统中，存在某些计算节点由于各种因素的影响，计算速度会以某种随机的方式变慢，从而使运行在集群上的机器学习算法执行时间增加，这种节点叫作掉队节点(straggler).介绍了基于编码技术解决这些问题和改进大规模机器学习集群性能的研究进展.首先介绍编码技术和大规模机器学习集群的相关背景;其次将相关研究按照应用场景分成了应用于矩阵乘法、梯度计算、数据洗牌和一些其他应用，并分别进行了介绍分析;最后总结讨论了相关编码技术存在的困难并对未来的研究趋势进行了展望.
参考文献
相关文章 15
| [1] | 吴宗友, 白昆龙, 杨林蕊, 王仪琦, 田英杰. 电子病历文本挖掘研究综述[J]. 计算机研究与发展, 2021, 58(3): 513-527. |
| [2] | 陈晋音, 陈奕芃, 陈一鸣, 郑海斌, 纪守领, 时杰, 程瑶. 面向深度学习的公平性研究综述[J]. 计算机研究与发展, 2021, 58(2): 264-280. |
| [3] | 于畅, 王雅文, 林欢, 宫云战. 基于故障检测上下文的等价变异体识别算法[J]. 计算机研究与发展, 2021, 58(1): 83-97. |
| [4] | 朱泓睿, 元国军, 姚成吉, 谭光明, 王展, 户忠哲, 张晓扬, 安学军. 分布式深度学习训练网络综述[J]. 计算机研究与发展, 2021, 58(1): 98-115. |
| [5] | 李双峰. TensorFlow Lite：端侧机器学习框架[J]. 计算机研究与发展, 2020, 57(9): 1839-1853. |
| [6] | 陈珂锐, 孟小峰. 机器学习的可解释性[J]. 计算机研究与发展, 2020, 57(9): 1971-1986. |
| [7] | 丁成诚, 陶蔚, 陶卿. 一种三参数统一化动量方法及其最优收敛速率[J]. 计算机研究与发展, 2020, 57(8): 1571-1580. |
| [8] | 贺一笑, 庞明, 姜远. 蒙德里安深度森林[J]. 计算机研究与发展, 2020, 57(8): 1594-1604. |
| [9] | 李冬梅, 张扬, 李东远, 林丹琼. 实体关系抽取方法研究综述[J]. 计算机研究与发展, 2020, 57(7): 1424-1448. |
| [10] | 陶涛, 孙玉娥, 陈冬梅, 杨文建, 黄河, 罗永龙. 一种基于智能手机传感器数据的地图轮廓生成方法[J]. 计算机研究与发展, 2020, 57(7): 1490-1507. |
| [11] | 张军, 谢竟成, 沈凡凡, 谭海, 汪吕蒙, 何炎祥. 通用图形处理器缓存子系统性能优化方法综述[J]. 计算机研究与发展, 2020, 57(6): 1191-1207. |
| [12] | 蓝天, 彭川, 李森, 叶文政, 李萌, 惠国强, 吕忆蓝, 钱宇欣, 刘峤. 单声道语音降噪与去混响研究综述[J]. 计算机研究与发展, 2020, 57(5): 928-953. |
| [13] | 刘辰屹, 徐明伟, 耿男, 张翔. 基于机器学习的智能路由算法综述[J]. 计算机研究与发展, 2020, 57(4): 671-687. |
| [14] | 周文, 张世琨, 丁勇, 陈曦. 面向低维工控网数据集的对抗样本攻击分析[J]. 计算机研究与发展, 2020, 57(4): 736-745. |
| [15] | 刘俊旭, 孟小峰. 机器学习的隐私保护研究综述[J]. 计算机研究与发展, 2020, 57(2): 346-362. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4140
