基于自适应剪枝率与高效权重继承的神经网络通道剪枝方法

刘相呈¹, 曹健^1,?, 姚宏毅¹, 徐鹏涛², 张袁¹, 王源³

1. 北京大学软件与微电子学院, 北京 1026002. 西安中核核仪器股份有限公司, 西安 7100613. 北京大学集成电路学院, 北京 100871

收稿日期:2022-09-14修回日期:2022-11-11出版日期:2023-09-20发布日期:2023-09-18
通讯作者:曹健, E-mail: caojian(at)ss.pku.edu.cn

基金资助:国家重点研发计划(2018YFE0203801)资助

AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance

LIU Xiangcheng¹, CAO Jian^1,?, YAO Hongyi¹, XU Pengtao², ZHANG Yuan¹, WANG Yuan³

1. School of Software and Microelectronics, Peking University, Beijing 1026002. Xi’an Nuclear Instrument Co., Ltd. Xi’an 7100613. School of Integrated Circuits, Peking University, Beijing 100871

Received:2022-09-14Revised:2022-11-11Online:2023-09-20Published:2023-09-18
Contact:CAO Jian, E-mail: caojian(at)ss.pku.edu.cn

摘要/Abstract

摘要： 目前的通道级剪枝方法往往需要复杂的搜索和微调过程, 并且容易陷入局部最优解, 针对此问题, 提出一种新颖的通道剪枝框架(AdaPruner), 只需通过一次稀疏训练, 就可以针对各种预算复杂度, 自适应地生成相应的子网络, 并高效地选择适合当前结构的初始化权重。在图像分类任务的多个数据集上实验结果表明, 该方法在常用的残差网络和轻量级网络上的性能都优于以往剪枝方法。

引用本文

刘相呈, 曹健, 姚宏毅, 徐鹏涛, 张袁, 王源. 基于自适应剪枝率与高效权重继承的神经网络通道剪枝方法[J]. 北京大学学报自然科学版, 2023, 59(5): 764-772.
LIU Xiangcheng, CAO Jian, YAO Hongyi, XU Pengtao, ZHANG Yuan, WANG Yuan. AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2023, 59(5): 764-772.





PDF全文下载地址:

http://xbna.pku.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3903