删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

分布式深度学习训练网络综述

本站小编 Free考研考试/2022-01-01

朱泓睿1,2,元国军1,姚成吉3, 谭光明1, 王展1, 户忠哲1,2,3,张晓扬1,2,3,安学军1
1(中国科学院计算技术研究所 北京 100190);2(中国科学院大学 北京 100049);3(北京旷视科技有限公司 北京 100080) (zhuhongrui@ncic.ac.cn)
出版日期: 2021-01-01


基金资助:中国科学院战略性先导科技专项(B类) (XDB24050200);国家自然科学基金面上项目(61972380,61702484);中国科学院计算技术研究所创新课题(20166060)

Survey on Network of Distributed Deep Learning Training

Zhu Hongrui1,2, Yuan Guojun1, Yao Chengji3, Tan Guangming1, Wang Zhan1, Hu Zhongzhe1,2,3, Zhang Xiaoyang1,2,3, An Xuejun1
1(Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190);2(University of Chinese Academy of Sciences, Beijing 100049);3(Megvii Inc., Beijing 100080)
Online: 2021-01-01


Supported by:This work was supported by the CAS Strategic Priority Program(B) (XDB24050200), the General Program of the National Natural Science Foundation of China (61972380, 61702484), and the Innovation Fund from the Institute of Computing Technology, Chinese Academy of Sciences (20166060).




摘要/Abstract


摘要: 近年来深度学习在图像、语音、自然语言处理等诸多领域得到广泛应用,但随着人们对深度学习的训练速度和数据处理能力的需求不断提升,传统的基于单机的训练过程愈发难以满足要求,分布式的深度学习训练方法成为持续提升算力的有效途径.其中训练过程中节点间网络的通信性能至关重要,直接影响训练性能.分析了分布式深度学习中的性能瓶颈,在此基础上对目前常用的网络性能优化方案进行综述,详细阐述了目前最新的超大规模分布式训练的体系结构、优化方法、训练环境和最有效的优化方法,最后对分布式训练仍然存在的困难进行了总结,对其未来研究方向进行了展望.






[1]王慧娇, 丛鹏, 蒋华, 韦永壮. 基于深度学习的SIMON32/64安全性分析[J]. 计算机研究与发展, 2021, 58(5): 1056-1064.
[2]潘旭东, 张谧, 颜一帆, 陆逸凡, 杨珉. 通用深度学习语言模型的隐私风险评估[J]. 计算机研究与发展, 2021, 58(5): 1092-1105.
[3]李明慧, 江沛佩, 王骞, 沈超, 李琦. 针对深度学习模型的对抗性攻击与防御[J]. 计算机研究与发展, 2021, 58(5): 909-926.
[4]汪嘉来, 张超, 戚旭衍, 荣易. Windows平台恶意软件智能检测综述[J]. 计算机研究与发展, 2021, 58(5): 977-994.
[5]周纯毅, 陈大卫, 王尚, 付安民, 高艳松. 分布式深度学习隐私与安全攻击研究进展与挑战[J]. 计算机研究与发展, 2021, 58(5): 927-943.
[6]汪烨, 陈骏武, 夏鑫, 姜波. 智能需求获取与建模研究综述[J]. 计算机研究与发展, 2021, 58(4): 683-705.
[7]吴宗友, 白昆龙, 杨林蕊, 王仪琦, 田英杰. 电子病历文本挖掘研究综述[J]. 计算机研究与发展, 2021, 58(3): 513-527.
[8]廖海斌, 徐斌. 基于性别和年龄因子分析的鲁棒性人脸表情识别[J]. 计算机研究与发展, 2021, 58(3): 528-538.
[9]付章杰, 李恩露, 程旭, 黄永峰, 胡雨婷. 基于深度学习的图像隐写研究进展[J]. 计算机研究与发展, 2021, 58(3): 548-568.
[10]古天龙, 冯旋, 李龙, 包旭光, 李云辉. 基于社会新闻数据集的伦理行为判别方法[J]. 计算机研究与发展, 2021, 58(2): 253-263.
[11]陈晋音, 陈奕芃, 陈一鸣, 郑海斌, 纪守领, 时杰, 程瑶. 面向深度学习的公平性研究综述[J]. 计算机研究与发展, 2021, 58(2): 264-280.
[12]李金鹏, 张闯, 陈小军, 胡玥, 廖鹏程. 自动文本摘要研究综述[J]. 计算机研究与发展, 2021, 58(1): 1-21.
[13]孟子尧, 谷雪, 梁艳春, 许东, 吴春国. 深度神经架构搜索综述[J]. 计算机研究与发展, 2021, 58(1): 22-33.
[14]林培光, 周佳倩, 温玉莲. SCONV:一种基于情感分析的金融市场趋势预测方法[J]. 计算机研究与发展, 2020, 57(8): 1769-1778.
[15]李冬梅, 张扬, 李东远, 林丹琼. 实体关系抽取方法研究综述[J]. 计算机研究与发展, 2020, 57(7): 1424-1448.





PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4332
相关话题/计算机 北京 优化 中国科学院 网络

  • 领限时大额优惠券,享本站正版考研考试资料!
    大额优惠券
    优惠券领取后72小时内有效,10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材,产品类型包含电子书、题库、全套资料以及视频,无论您是考研复习、考证刷题,还是考前冲刺等,不同类型的产品可满足您学习上的不同需求。 ...
    本站小编 Free壹佰分学习网 2022-09-19
  • 网络功能虚拟化下服务功能链的资源管理研究综述
    祖家琛,胡谷雨,严佳洁,李实吉(陆军工程大学指挥控制工程学院南京210007)(jiachen_zu@foxmail.com)出版日期:2021-01-01ResourceManagementofServiceFunctionChaininNFVEnabledNetwork:ASurveyZuJia ...
    本站小编 Free考研考试 2022-01-01
  • 命名数据网络中的视频传输研究综述
    胡晓艳1,2,3,4,童钟奇1,徐恪5,张国强6,郑少琦1,赵丽侠1,程光1,2,3,龚俭1,2,31(东南大学网络空间安全学院南京211189);2(计算机网络和信息集成教育部重点实验室(东南大学)南京211189);3(网络空间国际治理研究基地(东南大学)南京211189);4(网络通信与安全紫 ...
    本站小编 Free考研考试 2022-01-01
  • 基于排序学习的网络舆情演化趋势评估方法研究
    秦涛1,2,沈壮1,2,刘欢1,2,陈周国31(智能网络与网络安全教育部重点实验室(西安交通大学)西安710049);2(西安交通大学电子与信息工程学部西安710049);3(中国电子科技集团第三十研究所成都610093)(qin.tao@mail.xjtu.edu.cn)出版日期:2020-12- ...
    本站小编 Free考研考试 2022-01-01
  • 基于超图的EBSN个性化推荐及优化算法
    于亚新,张文超,李振国,李莹(东北大学计算机科学与工程学院沈阳110169)(医学影像智能计算教育部重点实验室(东北大学)沈阳110169)(yuyx@mail.neu.edu.cn)出版日期:2020-12-01基金资助:国家自然科学基金项目(61871106,61973059);国家重点研发计划 ...
    本站小编 Free考研考试 2022-01-01
  • 飞腾处理器上向量三角函数的设计实现与优化
    沈洁,龙标,姜浩,黄春(国防科技大学计算机学院长沙410073)(j.shen@nudt.edu.cn)出版日期:2020-12-01基金资助:“核高基”国家科技重大专项基金项目(2018ZX01029-103);国家自然科学基金项目(61902407);湖南省自然科学基金资助项目(2018JJ36 ...
    本站小编 Free考研考试 2022-01-01
  • 基于散度的网络流概念漂移分类方法
    程光1,2,3,钱德鑫1,2,3,郭建伟4,史海滨1,2,3,吴桦1,2,3,赵玉宇1,2,31(东南大学网络空间安全学院南京211189);2(教育部计算机网络和信息集成重点实验室(东南大学)南京211189);3(江苏省计算机网络技术重点实验室(东南大学)南京211189);4(华为技术有限公司 ...
    本站小编 Free考研考试 2022-01-01
  • 基于自适应广义回归神经网络的链路质量评估
    舒坚,高素,陈宇斌(南昌航空大学软件学院南昌330063)(shujian@nchu.edu.cn)出版日期:2020-12-01基金资助:国家自然科学基金项目(61962037,61762065);江西省自然科学基金重点项目(20202BABL202039,20181BAB202015);江西省研 ...
    本站小编 Free考研考试 2022-01-01
  • 基于边缘计算的进化多目标优化图像隐写算法
    丁旭阳1,谢盈1,2,张小松11(电子科技大学计算机科学与工程学院成都611731);2(西南民族大学计算机科学与工程学院成都610041)(dingxuyang@uestc.edu.cn)出版日期:2020-11-01基金资助:国家自然科学基金项目(61902326);西南民族大学中央高校基本科研 ...
    本站小编 Free考研考试 2022-01-01
  • 基于双向循环神经网络的安卓浏览器指纹识别方法
    刘奇旭1,2,刘心宇1,2,罗成3,王君楠1,2,陈浪平1,2,刘嘉熹1,21(中国科学院信息工程研究所北京100093);2(中国科学院大学网络空间安全学院北京100049);3(中国信息通信研究院北京100191)(liuqixu@iie.ac.cn)出版日期:2020-11-01基金资助:中国 ...
    本站小编 Free考研考试 2022-01-01
  • MSRD: 多模态网络谣言检测方法
    刘金硕1,冯阔1,JeffZ.Pan2,邓娟1,王丽娜11(空天信息安全与可信计算教育部重点实验室,武汉大学国家网络安全学院武汉430072);2(阿伯丁大学苏格兰阿伯丁AB243FX)(liujinshuo@whu.edu.cn)出版日期:2020-11-01基金资助:国家自然科学基金项目(U19 ...
    本站小编 Free考研考试 2022-01-01