吴欣欣^1,2,3,欧焱^1,2,3,李文明^1,2,王达^1,2,张浩^1,2,范东睿^1,2,3

¹（计算机体系结构国家重点实验室(中国科学院计算技术研究所) 北京 100190）；²（中国科学院计算技术研究所 北京 100190）；³（中国科学院大学计算机科学与技术学院 北京 100049) (wuxinxin@ict.ac.cn)

出版日期: 2021-07-01


基金资助:国家自然科学基金项目(61732018,61872335,61802367,61672499);中国科学院战略性先导科技专项(C类)(XDC05000000);中国科学院国际伙伴计划(171111KYSB20170032);计算机体系结构国家重点实验室创新项目(CARCH4408，CARCH4412)

Acceleration of Sparse Convolutional Neural Network Based on Coarse-Grained Dataflow Architecture

Wu Xinxin^1,2,3, Ou Yan^1,2,3, Li Wenming^1,2, Wang Da^1,2, Zhang Hao^1,2, Fan Dongrui^1,2,3

¹（State Key Laboratory of Computer Architecture (Institute of Computing Technology, Chinese Academy of Sciences), Beijing 100190);²(Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190);³(School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 100049)

Online: 2021-07-01


Supported by:This work was supported by the National Natural Science Foundation of China (61732018, 61872335, 61802367, 61672499), the Strategic Priority Research Program of Chinese Academy of Sciences (XDC05000000), the International Partnership Program of Chinese Academy of Sciences (171111KYSB20170032), and the Innovation Project of the State Key Laboratory of Computer Architecture (CARCH4408, CARCH4412).

摘要/Abstract

摘要： 卷积神经网络(convolutional neural network, CNN)在图像处理、语音识别、自然语言处理等领域实现了很好的性能.大规模的神经网络模型通常遭遇计算、存储等资源限制，稀疏神经网络的出现有效地缓解了对计算和存储的需求.尽管现有的领域专用加速器能够有效处理稀疏网络，它们通过算法和结构的紧耦合实现高能效，却丧失了结构的灵活性.粗粒度数据流架构通过灵活的指令调度可以实现不同的神经网络应用.基于该架构，密集卷积规则的计算特性使不同通道共享相同的一套指令执行，然而稀疏网络中存在权值稀疏，使得这些指令中存在0值相关的无效指令，而现有的指令执行方式无法自动跳过它们从而产生无效计算.同时在执行不规则的稀疏网络时，现有的指令映射方法造成了计算阵列的负载不均衡.这些问题阻碍了稀疏网络性能的提升.基于不同通道共享一套指令的前提下,根据稀疏网络的数据和指令特征增加指令控制单元实现权值数据中0值相关指令的检测和跳过，同时使用负载均衡的指令映射算法解决稀疏网络中指令执行不均衡问题.实验表明：与密集网络相比稀疏网络实现了平均1.55倍的性能提升和63.77%的能耗减少.同时比GPU(cuSparse)和Cambricon-X实现的稀疏网络分别快2.39倍(Alexnet)、2.28倍(VGG16)和1.14倍(Alexnet)、1.23倍(VGG16).

参考文献

相关文章 2

[1]	欧焱, 冯煜晶, 李文明, 叶笑春, 王达, 范东睿. 面向数据流结构的指令内访存冲突优化研究[J]. 计算机研究与发展, 2019, 56(12): 2720-2732.
[2]	向陶然，叶笑春，李文明，冯煜晶，谭旭，张浩，范东睿. 基于细粒度数据流架构的稀疏神经网络全连接层加速[J]. 计算机研究与发展, 2019, 56(6): 1192-1204.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4460