孙胜^1,2,李叙晶^1,2,刘敏^1,2,杨博^1,2,过晓冰³

¹(中国科学院计算技术研究所 北京 100190);²(中国科学院大学 北京 100049);³(联想研究院 北京 100085) (sunsheng@ict.ac.cn)

出版日期: 2020-04-01


基金资助:国家自然科学基金项目(61732017,61872028)

DNN Inference Acceleration via Heterogeneous IoT Devices Collaboration

Sun Sheng^1,2, Li Xujing^1,2, Liu Min^1,2, Yang Bo^1,2, Guo Xiaobing³

¹(Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190);²(University of Chinese Academy of Sciences, Beijing 100049);³(Lenovo Research, Beijing 100085)

Online: 2020-04-01


Supported by:This work was supported by the National Natural Science Foundation of China (61732017, 61872028).

摘要/Abstract

摘要： 深度神经网络(deep neural network, DNN)已经广泛应用于各种智能应用，如图像和视频识别.然而，由于DNN任务计算量大，资源受限的物联网(Internet of things, IoT)设备难以本地单独执行DNN推断任务.现有云协助方法容易受到通信延迟无法预测和远程服务器性能不稳定等因素的影响.一种非常有前景的方法是利用IoT设备协作实现分布式、可扩展DNN任务推断.然而，现有工作仅研究IoT设备同构情况下的静态拆分策略.因此，迫切需要研究如何在能力异构且资源受限的IoT设备间自适应地拆分DNN任务，协作执行任务推断.上述研究问题面临2个重要挑战:1)DNN任务多层推断延迟难以准确预测;2)难以在异构动态的多设备环境中实时智能调整协作推断策略.为此，首先提出细粒度可解释的多层延迟预测模型.进一步，利用进化增强学习(evolutionary reinforcement learning, ERL)自适应确定DNN推断任务的近似最优拆分策略.实验结果表明：该方法能够在异构动态环境中实现显著DNN推断加速.

参考文献

相关文章 15

[1]	谢震, 谭光明, 孙凝晖. 基于PPR模型的稀疏矩阵向量乘及卷积性能优化研究[J]. 计算机研究与发展, 2021, 58(3): 445-457.
[2]	甘新标, 谭雯, 刘杰. 基于双向位图的CSR大规模图存储优化[J]. 计算机研究与发展, 2021, 58(3): 458-466.
[3]	吴宗友, 白昆龙, 杨林蕊, 王仪琦, 田英杰. 电子病历文本挖掘研究综述[J]. 计算机研究与发展, 2021, 58(3): 513-527.
[4]	廖海斌, 徐斌. 基于性别和年龄因子分析的鲁棒性人脸表情识别[J]. 计算机研究与发展, 2021, 58(3): 528-538.
[5]	刘颖, 杨轲. 基于深度集成学习的类极度不均衡数据信用欺诈检测算法[J]. 计算机研究与发展, 2021, 58(3): 539-547.
[6]	徐坤浩, 聂铁铮, 申德荣, 寇月, 于戈. 基于CPU-GPU异构体系结构的并行字符串相似性连接方法[J]. 计算机研究与发展, 2021, 58(3): 598-608.
[7]	李松, 胡晏铭, 郝晓红, 张丽平, 郝忠孝. 基于维度分组降维的高维数据近似k近邻查询[J]. 计算机研究与发展, 2021, 58(3): 609-623.
[8]	赖庆宽, 吕方, 贺春林, 何先波, 冯晓兵. 面向理想性能空间的跨架构编译分析方法[J]. 计算机研究与发展, 2021, 58(3): 668-680.
[9]	孟小峰, 刘立新. 基于区块链的数据透明化：问题与挑战[J]. 计算机研究与发展, 2021, 58(2): 237-252.
[10]	古天龙, 冯旋, 李龙, 包旭光, 李云辉. 基于社会新闻数据集的伦理行为判别方法[J]. 计算机研究与发展, 2021, 58(2): 253-263.
[11]	陈晋音, 陈奕芃, 陈一鸣, 郑海斌, 纪守领, 时杰, 程瑶. 面向深度学习的公平性研究综述[J]. 计算机研究与发展, 2021, 58(2): 264-280.
[12]	徐光伟, 史春红, 冯向阳, 罗辛, 石秀金, 韩松桦, 李玮. 基于多级网络编码的多副本云数据存储[J]. 计算机研究与发展, 2021, 58(2): 293-304.
[13]	林霄, 姬硕, 岳胜男, 孙卫强, 胡卫生. 面向跨数据中心网络的节点约束存储转发调度方法[J]. 计算机研究与发展, 2021, 58(2): 319-337.
[14]	刘渝, 郭婵, 冯树耀, 周可, 肖志立. 基于语义相似性的跨模态图文内容筛选存储机制研究[J]. 计算机研究与发展, 2021, 58(2): 338-355.
[15]	韩书楷, 熊子威, 蒋德钧, 熊劲. 基于持久化内存的索引设计重新思考与优化[J]. 计算机研究与发展, 2021, 58(2): 356-370.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4155