方荣强¹，王晶^1,4，姚治成²，刘畅¹，张伟功^3,4

¹（首都师范大学信息工程学院 北京 100048）；²（体系结构国家重点实验室(中国科学院计算技术研究所) 北京 100190）；³（高可靠嵌入式系统技术北京市工程研究中心(首都师范大学) 北京 100048）；⁴（北京成像理论与技术高精尖创新中心(首都师范大学) 北京 100048) (zwg771@cnu.edu.cn)

出版日期: 2019-06-01


基金资助:国家自然科学基金项目(61772350)；共有信息系统装备预先研究项目(公开)(JZX2017-0988/Y300)；北京市科技新星计划项目(Z181100006218093)；体系结构国家重点实验室开放课题(CARCH201607)；北京未来芯片技术高精尖创新中心科研基金资助项目(KYJJ2018008)；北京市高水平教师队伍建设计划(CIT&TCD201704082)；科技创新服务能力建设-基本科研业务费(科研类)(19530050173，02518530500)

Modeling Computational Feature of Multi-Layer Neural Network

Fang Rongqiang¹, Wang Jing^1,4, Yao Zhicheng², Liu Chang¹， Zhang Weigong^3,4

¹（College of Information Engineering, Capital Normal University, Beijing 100048）；²（State Key Laboratory of Computer Architecture (Institute of Computing Technology, Chinese Academy of Sciences), Beijing 100190）；³（Beijing Engineering Research Center of High Reliable Embedded System (Capital Normal University), Beijing 100048）；⁴（Beijing Advanced Innovation Center for Imaging Theory and Technology (Capital Normal University), Beijing 100048)

Online: 2019-06-01


Supported by:This work was supported by the National Natural Science Foundation of China(61772350), the Common Information System Equipment Pre-research Funds (Open Project) (JZX2017-0988/Y300), Beijing Nova Program (Z181100006218093), the Open Project of State Key Laboratory of Computer Architecture (CARCH201607), the Research Fund from Beijing Innovation Center for Future Chips (KYJJ2018008), the Construction Plan of Beijing High-level Teacher Team (CIT&TCD201704082), and the Capacity Building for Sci-Tech Innovation Fundamental Scientific Research Funds (19530050173, 025185305000).

摘要/Abstract

摘要： 随着深度学习算法在语音和图像等领域中的成功运用，能够有效提取目标特征并做出最优决策的神经网络再次得到了广泛的关注.然而随着数据量的增加和识别精度需求的提升，神经网络模型的复杂度不断提高，因此采用面向特定领域的专用硬件加速器是高效运行神经网络的有效途径.然而如何根据网络规模设计高能效的加速器，以及基于有限硬件资源如何提高网络性能并最大化资源利用率是当今体系结构领域研究的重要问题.为此，提出基于计算特征的神经网络分析和优化方法，基于“层”的粒度解析典型神经网络模型并提取模型通用表达，根据通用表达式和基本操作属性提取模型运算量和存储空间需求等特征.提出了基于最大值更替的运行调度算法，利用所提取的特征分析结果对神经网络在特定硬件资源下的运行调度方案进行优化.实验结果显示：所提方法能够有效分析对比网络特征，并指导所设计调度算法实现性能和系统资源利用率的提升.

参考文献

相关文章 15

[1]	刘颖, 杨轲. 基于深度集成学习的类极度不均衡数据信用欺诈检测算法[J]. 计算机研究与发展, 2021, 58(3): 539-547.
[2]	曾碧卿, 曾锋, 韩旭丽, 商齐. 基于交互特征表示的评价对象抽取模型[J]. 计算机研究与发展, 2021, 58(1): 224-232.
[3]	陈珂锐, 孟小峰. 机器学习的可解释性[J]. 计算机研究与发展, 2020, 57(9): 1971-1986.
[4]	陈彦敏, 王皓, 马建辉, 杜东舫, 赵洪科. 基于层级注意力机制的互联网用户信用评估框架[J]. 计算机研究与发展, 2020, 57(8): 1755-1768.
[5]	林培光, 周佳倩, 温玉莲. SCONV：一种基于情感分析的金融市场趋势预测方法[J]. 计算机研究与发展, 2020, 57(8): 1769-1778.
[6]	李若南, 李金宝. 一种无源被动室内区域定位方法的研究[J]. 计算机研究与发展, 2020, 57(7): 1381-1392.
[7]	邢新颖, 冀俊忠, 姚垚. 基于自适应多任务卷积神经网络的脑网络分类方法[J]. 计算机研究与发展, 2020, 57(7): 1449-1459.
[8]	于海涛, 杨小汕, 徐常胜. 基于多模态输入的对抗式视频生成方法[J]. 计算机研究与发展, 2020, 57(7): 1522-1530.
[9]	李曈, 马伟, 徐士彪, 张晓鹏. 适应立体匹配任务的端到端深度网络[J]. 计算机研究与发展, 2020, 57(7): 1531-1538.
[10]	王庆林, 李东升, 梅松竹, 赖志权, 窦勇. 面向飞腾多核处理器的Winograd快速卷积算法优化[J]. 计算机研究与发展, 2020, 57(6): 1140-1151.
[11]	郭进阳, 邵传明, 王靖, 李超, 朱浩瑾, 过敏意. FPGA图计算的编程与开发环境：综述和探索[J]. 计算机研究与发展, 2020, 57(6): 1164-1178.
[12]	成科扬, 王宁, 师文喜, 詹永照. 深度学习可解释性研究进展[J]. 计算机研究与发展, 2020, 57(6): 1208-1217.
[13]	蓝天, 彭川, 李森, 叶文政, 李萌, 惠国强, 吕忆蓝, 钱宇欣, 刘峤. 单声道语音降噪与去混响研究综述[J]. 计算机研究与发展, 2020, 57(5): 928-953.
[14]	张艺璇, 郭斌, 刘佳琪, 欧阳逸, 於志文. 基于多级注意力机制网络的app流行度预测[J]. 计算机研究与发展, 2020, 57(5): 984-995.
[15]	孙胜, 李叙晶, 刘敏, 杨博, 过晓冰. 面向异构IoT设备协作的DNN推断加速研究[J]. 计算机研究与发展, 2020, 57(4): 709-722.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3942