宋欣^1,2, 李奇¹, 解婉君¹, 李宁³
1. 东北大学 计算机科学与工程学院, 辽宁 沈阳 110169;
2. 中国科学院 自动化研究所, 北京 100190;
3. 中国移动信息技术有限公司, 北京 100037
收稿日期：2020-07-20
基金项目：国家自然科学基金资助项目(61603083); 中央高校基本科研业务费专项资金资助项目(N162304009); 河北省高等学校科学技术研究重点项目(ZD2017303); 中国科学院自动化研究所国家重点实验室开放课题项目(20180105)。
作者简介：宋欣(1978-)，女，黑龙江齐齐哈尔人，东北大学副教授。

摘要：基于原有YOLOv3模型占用存储空间较大, 所需初始化数据集样本和参数较多的问题, 本文提出了一种基于YOLOv3的深度学习目标检测压缩模型YOLOv3-ADS.该模型使用拼接、叠加等方法对较少的有代表性的初始数据集进行数据增强, 引入了DIoU损失函数, 提升了目标检测的准确度.最后, 通过稀疏训练和剪枝率阈值设置实现了YOLOv3-ADS模型的压缩处理, 减少了模型实现过程中的冗余节点、参数数量和所需存储空间.实验结果表明, 提出的YOLOv3-ADS压缩模型与已有的YOLOv3模型相比, 平均精度值(mAP值)提升了约30 %, 由0.641 8提升至0.836 8, 需设置参数量下降了96.6 %, 由原来的63.0 MB降至2.2 MB, 在保证了较高目标检测准确率的同时, YOLOv3-ADS模型所需存储空间下降了96.5 %, 由252 MB降至仅需8.81 MB.
关键词：目标检测YOLOv3-ADS模型深度学习YOLOv3模型压缩模型
YOLOv3-ADS: A Compression Model for Deep Learning Object Detection Based on YOLOv3
SONG Xin^1,2, LI Qi¹, XIE Wan-jun¹, LI Ning³
1. School of Computer Science & Engineering, Northeastern University, Shenyang 110169, China;
2. Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China;
3. China Mobile Information Technology Co., Ltd., Beijing 100037, China
Corresponding author: SONG Xin, E-mail: bravesong@163.com.

Abstract: Since the original YOLOv3 model takes up a large amount of storage space, more initialization dataset samples and parameters are required. A deep learning object detection compression model YOLOv3-ADS was proposed based on YOLOv3. The proposed model uses the methods of splicing and stacking for data enhancement of the fewer representative initial datasets. It introduces the DIoU loss function, and improves the accuracy of object detection. Finally, YOLOv3-ADS model was compressed by sparse training and pruning rate threshold setting, which reduces the number of redundant nodes, parameters and the required storage space. The experimental results show that, compared with the existing YOLOv3 model, the average accuracy of the proposed YOLOv3-ADS compression model is increased by about 30 %, from 0.641 8 to 0.836 8, and the number of parameters is reduced by 96.6 %, from the original 63.0 MB to 2.2 MB. At the same time, the storage space required by YOLOv3-ADS model is reduced by 96.5 %, from 252 MB to only 8.81 MB.
Key words: object detectionYOLOv3-ADS modeldeep learningYOLOv3 modelcompression model
目标检测技术是计算机视觉研究中重要的组成部分.近年来, 随着计算机硬件设备性能的大幅度提升, 深度卷积神经网络学习算法得到了快速发展, Faster-RCNN^[1], SSD^[2], Cornernet^[3], Libra R-CNN^[4]和YOLO^[5-7]系列等基于深度学习的模型被提出, 极大地推进了人工智能领域关于计算机视觉研究中的目标检测技术的进步.其中, 2016—2018年相继提出的YOLO系列通用目标检测模型, 不仅检测的速度不断加快, 而且检测的准确率也不断提升, 为目标检测模型应用到更广泛的人工智能识别应用场景中奠定了理论基础.
在实时应用场景中, 为了进一步满足快速目标检测的要求, Shafiee等提出了基于YOLOv2的fast-YOLO模型^[8], 该模型与已有的YOLOv2相比降低了64% 的参数, 检测速度提升了3.3倍.为了提升目标检测精度, YOLOv3是一种适用于实时视频帧目标检测的深度学习模型, 但YOLOv3模型仍然需要大量的初始化数据集样本和较多的模型参数设置, 导致了模型训练占用内存大、计算量大、检测的成本较高, 适用于拥有高价、高性能的专业服务器支持的智能目标检测应用环境.为了进一步改进上述问题, 基于YOLOv3发布了tiny-YOLO模型, 该模型具有速度快、占用内存少的特点, 但精度下降太多, 在诸如车辆自动驾驶、无人机森林火灾点检测、飞行器自主着陆系统、移动边缘识别等智能处理设备存储空间不大, 处理器性能不高但检测精度要求较高的应用场景中无法直接适用.因此, 研究一种高目标检测精度、低参数量和低存储空间的模型是目标检测研究领域中的新挑战, 为进一步将目标检测模型应用到更广泛的设备受限的智能检测应用领域提供了理论和技术支持.
1 相关研究工作为了对已有目标检测模型进行进一步简化和压缩, Ye等提出了一种用于加速深度卷积神经网络计算的模型修剪方法^[9], 首先采用端到端随机训练方法, 最终迫使某些通道的输出保持不变, 然后通过调整其影响层的偏差值来修剪原始神经网络中的常量通道.Zhang等提出了针对无人机的模型修剪算法SlimYOLOv3^[10].该模型与YOLOv3相比每秒浮点运算次数下降了90.8%, 参数数量下降了92.0%, 精度基本持平.已有的基于YOLO系列算法的改进目标检测模型, 虽然利用了剪枝策略减少了模型实现中的内存占用量和目标检测时的计算量, 但是要实现较高的目标检测准确率, 模型训练需要海量的初始数据集, 如算法实验测试中广泛使用的MScoco2014^[11]数据集, 包括了超过30万张的图片数据, VOC2012数据集也包含了17 000张图片, 在实际的低存储设备目标检测应用场景中, 复杂和海量的初始数据集收集将增加模型的使用成本, 阻碍了技术的应用推广.
为了进一步实现应用低存储空间的小型设备或边缘移动设备完成实时视频目标检测的研究目标, 基于原有YOLOv3模型占用存储空间较大, 所需初始化数据集样本和参数较多的问题, 本文提出了一种YOLOv3-ADS(YOLOv3-Aug-DIoU-Slim)深度学习目标检测压缩模型，该模型具有以下特点：
1) 使用了Mixup (叠加)、随机拼接和修剪的数据增强方法对收集的较少典型数据进行处理, 构建了多样性场景目标训练数据, 减少了初始化数据集的工作成本.
2) 引入了DIoU^[12]损失函数, 由于DIoU损失函数中考虑了目标与anchor之间的距离、重叠率以及尺度, 使得目标框回归变得更稳定, 避免了训练过程中出现发散的问题, 提升了目标检测模型的平均精度值(mAP值).
3) 通过L1正则化进行信道的稀疏训练, 设置剪枝率阈值, 删除冗余的参数, 实现YOLOv3-ADS模型的剪枝处理, 在保持较高检测精度的同时减少算法参数数量, 降低模型实现所占用的存储空间.
2 YOLOv3-ADS压缩模型的实现2.1 YOLOv3-ADS模型的数据增强处理数据对于基于深度学习的目标检测任务是非常重要的, 足够的初始训练样本能保证系统的识别准确率.但是在存储有限的设备环境中, 实现实时视频的检测应用, 目标检测数据的标记成本比图像分类更高.所以, 在有限的数据情况下, 利用有效的数据增强策略可以有效地提升训练样本数据量、改善模型稳定性和鲁棒性, 节省数据成本.
YOLOv3-ADS模型的数据增强处理分为Mixup (叠加)、拼接和随机修剪三个过程.
首先, 使用Mixup方法对有限的训练数据进行处理.Mixup方法是以线性插值的方式来构建新的训练样本和标签, 设(x_i, y_i)和(x_j, y_j)是从训练数据中随机抽取的两个样本和标签, x_i, x_j表示样本，y_i, y_j; 分别为对应的标签，通过特征向量的线性插值来扩展数据的分布, 生成新的训练样本，如式(1)所示.

(1)

其中, λ~Beta(α, α), α∈(0, ∞).设δ为基础YOLOv3模型置信度损失函数的权重, 如式(2)所示.

(2)

将基础YOLOv3模型置信度损失函数用式(3)计算得出, 其中δ的两项之和为1, 确保了总的置信度仍然是1.

(3)

其中: S为输入图像划分成S×S网格后的单片区域; B代表每个网格所产生的后选框; G_ij代表第i个网格的第j个候选框是否有预测的对象; δC_i^j代表第i个网格的第j个候选框对检测目标置信度的真实值; 代表预测的置信度.
接着, 从训练集中随机选取四幅处理过的训练样本图像(x₁, y₁), (x₂, y₂), (x₃, y₃), (x₄, y₄), 拼接成一张样本图像(X, Y)∈R^4S×4S, 最后, 在(X, Y)上随机裁剪(x_r, y_r)∈R^S×S, 如图 1所示, 得到新的样本图像.
图 1(Fig. 1)

图 1 训练样本的拼接和裁剪Fig.1 Splicing and tailoring of the training samples

为了使YOLOv3-ADS模型适应于有限初始数据集的应用场景, 数据增强的处理以叠加、随机拼接和裁剪的方式增加了训练样本, 提升了训练图像样本的多样性; 对离散样本空间进行连续化, 提高了邻域内的平滑性; 随机选取和改变的训练样本, 增加了系统的学习特征, 提升了模型的泛化能力和鲁棒性.YOLOv3-ADS模型在实现过程中经过数据增强处理后产生的新样本示例如图 2所示.
图 2(Fig. 2)

图 2 经过数据增强的新样本示例Fig.2 New samples examples with data enhancement

2.2 引入DIoU目标检测回归损失函数损失函数在模型的性能中起着关键作用, 选择正确的损失函数可以帮助模型学习如何将注意力集中在数据中的正确特征集合上, 从而获得最优和更快的收敛.IoU, GIoU^[14]和DIoU都是目标检测回归常用的损失函数, 本文提出的YOLOv3-ADS模型中引入了DIoU损失函数, 相较于GIoU和IoU损失函数, DIoU损失函数考虑了目标框与预测框之间中心点的距离和重叠率, 可以直接最小化真实框与预测框的距离.
IoU将4个点构成的box看成一个整体进行回归, 采用交并比确定正样本和负样本, 以及评价输出框和真实框的距离, IoU损失函数如式(4), 式(5)所示, 其中B^gt是目标框, B是预测框.

(4)

(5)

DIoU是将目标与anchor之间的距离、重叠率以及尺度都考虑进去的损失函数, 其在IoU的基础上同样加入了一个惩罚项, 用于度量目标框和预测框之间中心点的距离.DIoU的损失函数如式(6)所示.

(6)

式中: b和b^gt分别代表B和B^gt的中心点; p²(b, b^gt)代表B和B^gt中心点的欧氏距离d; c代表覆盖两个边界框最小框的对角线AB之间长度，如图 3所示.
图 3(Fig. 3)

图 3 DIoU损失函数d和c图示Fig.3 Diagram of DIoU loss functions d and c

由式(6)可以看出, 由于项的加入, 当与目标框不重叠时, 仍可以为边界框提供移动方向, 可以直接最小化两个目标框的距离, 比IoU损失函数的收敛速度快.DIoU损失函数具有尺度不变性, 对于包含两个框在水平和垂直方向上的情况, DIoU损失函数仍然可以快速回归, 因此, YOLOv3-ADS模型中引入DIoU作为目标检测回归损失函数.
2.3 YOLOv3-ADS模型的剪枝压缩处理为了减少YOLOv3-ADS模型的计算量和占用的存储空间, 在基础YOLOv3模型中的归一化BN(batch normalization)层对代表通道重要程度的可训练比例因子γ施加L1正则化进行信道的稀疏训练.对γ值接近于0的, 判断为冗余分支, 根据设置的全局剪枝率参数和局部信道比例π完成剪枝压缩处理, 生成规模更小、内存利用率更高、能耗更低的YOLOv3-ADS模型.
归一化BN层的批量归一化处理模型如式(7)所示.

(7)

其中: x和σ²分别是输入特征的均值和方差; β为偏差.
对γ施加L1正则化实现信道的稀疏训练, 稀疏训练的损失函数如式(8)所示.

(8)

其中: Loss_YOLO是YOLOv3的损失函数; f (γ)=|γ|是γ的L1范式; α是惩罚因子.经过迭代之后, 其中一些信道中的比例因子γ接近于0, 这些信道上输出的数值也接近于0, 即可判断为冗余连接.引入一个全局阈值来决定模型中信道修剪的比例, 即剪枝率.此外, 为了防止过度剪枝，保持模型连接的完整性, 引入一个局部安全阈值π, 即每层至少保留信道的比例.也就是说, 在稀疏训练之后, 获得模型中每个信道的γ, 然后将剪掉γ同时小于和π的信道, YOLOv3-ADS模型整体训练实现流程如图 4所示.
图 4(Fig. 4)

图 4 YOLOv3-ADS模型的工作流程Fig.4 Workflow of YOLOv3-ADS model

在原YOLOv3模型的基础上, 增加DIoU损失函数模块(YOLOv3-D)和数据增强Aug模块(YOLOv3-AD)进行实验测试.模型共执行完整数据迭代200次, 批大小设置为32, 训练策略采用动量为0.97的随机梯度下降法(SGD), 权重衰减系数为0.000 45, 初始学习率为0.005, 在进行到迭代总次数的70% 和90% 时, 学习率减少至原来的10%, 将前6次迭代看作预热处理.
1) 稀疏训练: 对YOLOv3增加了DIoU损失函数和数据增强处理的模型进行稀疏训练, 迭代次数设置为300次, 惩罚因子为0.001, 在达到总迭代次数的50% 后将惩罚因子衰减100倍, 其他参数与正常训练实验相同.
2) 模型修剪: 分别对稀疏训练结束后的YOLOv3-Slim模型和YOLOv3-ADS模型设置80%，90% 和95% 的信道参数修剪率进行实验测试和性能比较.
3) 微调: 对修剪结束的模型进行迭代100次的正常训练.
3 实验结果和分析在相同的实验环境条件下, 针对相同的数据集比较了已有的YOLOv3模型、SlimYOLOv3模型和本文提出的YOLOv3-ADS模型的处理性能, 实验测试结果如表 1所示.选取精确度P、召回率R、均衡平均数F1值、平均精度值mAP、参数量和模型存储空间占用大小作为评价指标, 式(9)~式(12)是精确度、召回率、F1值和平均精度值的计算模型.

(9)

(10)

(11)

(12)

表 1(Table 1)

表 1 三种目标检测模型的实验结果Table 1 Experimental results of three object detection models 模型 修剪率/% P R F1 mAP 参数量/MB 存储空间/MB YOLOv3 0 0.545 3 0.726 1 0.619 0 0.641 8 63.0 252 YOLOv3-D 0 0.514 7 0.735 5 0.603 1 0.676 7 63.0 252 YOLOv3-AD 0 0.456 1 0.859 8 0.592 3 0.788 5 63.0 252

表 1 三种目标检测模型的实验结果 Table 1 Experimental results of three object detection models

其中: TP表示将实际为正样例预测为正样例的个数; FP表示将实际为负样例预测为正样例的个数; FN表示将实际为正样例预测为负样例的个数.
表 1实验结果显示, 原有YOLOv3模型与增加了DIoU损失函数模块的YOLOv3-D模型相比, 其mAP值由0.641 8提升了5.44% 至0.676 7.进一步增加Aug数据增强模块的YOLOv3-AD模型的mAP值由0.676 7提升了16.52% 至0.788 5.模型的召回率也随着DIoU损失函数和数据增强模块的逐级增加而有所提高, DIoU损失函数具有尺度不变性, 当与目标框不重叠时, 仍可以为边界框提供移动方向, 对于包含两个框在水平和垂直方向上的情况, 可以直接最小化两个目标框的距离, 所以可以快速回归, 因此, YOLOv3-ADS模型中引入了DIoU作为目标检测回归损失函数能够通过提升模型的召回率进而提升模型的mAP值, 同时, Aug数据增强模块能够在高维空间对数据进行插值, 增加伪数据集的大小, 减少了模型的过拟合, 增强了模型的泛化能力.这样, 模型在处理样本和样本之间的区域时表现为线性, 这种线性建模减少了在预测训练样本以外数据时的不适应性, 进一步提升了模型的召回率和mAP值.
实验对已有的SlimYOLOv3模型和本文提出的YOLOv3-ADS模型进行了稀疏训练, 分别设置信道参数修剪率为80%, 90% 和95%, 实验结果如表 2和图 5~图 7所示.与原有无修剪的YOLOv3模型比较, SlimYOLOv3模型的参数量分别下降了88.7%, 96.6% 和98.7%, 存储空间占用大小也分别下降了88.7%, 96.4% 和98.7%.YOLOv3-ADS模型的参数量分别下降了89.1%，96.6% 和98.9%, 存储空间占用大小分别下降了89.5%，96.5% 和98.9%.经过剪枝压缩后的SlimYOLOv3模型和YOLOv3-ADS模型的mAP值均有提升.从进一步实验结果分析中可以看出, 在不同的修剪率设置情况下, 与SlimYOLOv3模型比较, 提出的YOLOv3-ADS模型的mAP值分别提升了14.0%, 16.8%, 16.8%.其中效果最好的是YOLOv3-ADS模型修剪率为90% 时, mAP值达到了0.836 8, 相较于未修剪的YOLOv3-AD模型, 提升了6.12%, 分别高于修剪率在80% 和95% 模型2.0% 和1.1%.实验结果说明, 引入DIoU损失函数和数据增强处理后的YOLOv3-AD模型经过修剪后, 参数减少, 能够有效地降低数据过拟合带来的影响, 进一步提升了模型的mAP值.
表 2(Table 2)

表 2 两种目标检测模型不同修剪率的实验结果Table 2 Experimental results of two target detection models with different pruning rates 模型 修剪率/% P R F1 mAP 参数量/MB 存储空间/MB YOLOv3-AD 0 0.456 1 0.859 8 0.592 3 0.788 5 63.0 252 SlimYOLOv3 80 0.563 3 0.771 2 0.646 6 0.704 0 7.1 28.40 SlimYOLOv3 90 0.530 8 0.771 9 0.627 5 0.716 2 2.2 8.95 SlimYOLOv3 95 0.480 3 0.769 9 0.587 1 0.708 7 0.8 3.34 YOLOv3-ADS 80 0.466 5 0.895 6 0.611 2 0.820 5 6.9 26.60 YOLOv3-ADS 90 0.361 2 0.914 7 0.516 4 0.836 8 2.2 8.81 YOLOv3-ADS 95 0.460 1 0.896 6 0.605 2 0.827 7 0.7 2.89

表 2 两种目标检测模型不同修剪率的实验结果 Table 2 Experimental results of two target detection models with different pruning rates

图 5(Fig. 5)

图 5 不同修剪率的5种模型的mAP值比较Fig.5 mAP values of 5 models with different pruning rates

图 6(Fig. 6)

图 6 不同修剪率的5种模型的参数量比较Fig.6 Parameter quantities of 5 models with different pruning rates

图 7(Fig. 7)

图 7 不同修剪率的5种模型的存储空间比较Fig.7 Storage space of 5 models with different pruning rates

图 8是YOLOv3-AD模型的γ值直方图.从图中可以看出YOLOv3-AD模型的γ值分布在1左右.图 9为稀疏训练过程.可以看出开始迭代时γ值分布在1附近, 随着迭代的进行, γ值逐渐向0靠近, 迭代完成时γ值大部分被压缩在0附近.图 10~图 13展示了模型在修剪前和模型修剪后的BN层γ值的分布.每条曲线代表模型网络中的一层.实验结果表明, 在模型修剪前γ值基本分布在1左右, 最多的层大约有1 000个参数, YOLOv3-ADS模型经过80% 的信道修剪后γ单层参数量的峰值降低到220, 经过90% 的信道修剪后γ单层参数数量的峰值降低到180, 经过95% 的信道修剪后γ单层参数量的峰值降低到110, 有效地减少了模型的参数量和降低了占用的存储空间.
图 8(Fig. 8)

图 8 YOLOv3-AD模型的模型的γ的直方图Fig.8 Histogram of γ in YOLOv3-AD model

图 9(Fig. 9)

图 9 YOLOv3-AD模型稀疏训练γ的直方图Fig.9 Sparse traininghistogram of γ in YOLOv3-AD moldel

图 10(Fig. 10)

图 10 YOLOv3-AD模型的γ的直方图Fig.10 Histogram of γ before pruning in YOLOv3-AD model

图 11(Fig. 11)

图 11 YOLOv3-ADS模型的γ的直方图(80% 修剪率)Fig.11 Histogram of γ in YOLOv3-ADS model (80% pruning rate)

图 12(Fig. 12)

图 12 YOLOv3-ADS模型的γ的直方图(90% 修剪率)Fig.12 Histogram of γ in YOLOv3-ADS model (90% pruning rate)

图 13(Fig. 13)

图 13 YOLOv3-ADS模型的γ的直方图(95% 修剪率)Fig.13 Histogram of γ in YOLOv3-ADS model (95% pruning rate)

4 结语本文提出的YOLOv3-ADS模型能在较少的数据集情况下, 达到比较满意的检测效果, 当YOLOv3-ADS模型的修剪率为90% 时, 其mAP值为0.836 8, 相较于YOLOv3模型的mAP值0.641 8提升了30%.而参数量由原有的63.0 MB下降至2.2 MB, 优化了96.6%.模型占用存储空间大小由252 MB下降至8.81 MB, 压缩了96.5%.
YOLOv3-ADS模型经过修剪后有效地减少了参数量与压缩了模型所在存储空间的大小, 为存储有限的小型设备和边缘移动设备实现目标检测任务提供了理论基础.
下一步的目标是继续深入研究系统学习性的数据增强方法和更加优化的损失函数, 以及模型参数修剪与数据过拟合之间的关系等, 进一步优化目标检测模型, 并在实际目标检测任务中试应用.
参考文献

[1]	Ren S Q, He K M, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.
[2]	Liu W, Anguelov D, Erhan D, et al. SSD: single shot, multi box detector[C]// European Conference on Computer Vision. Cham: Springer International Publishing, 2016: 21-37.
[3]	Law H, Deng J. CornerNet: detecting objects as paired keypoints[J]. International Journal of Computer Vision, 2020, 128: 642-656. DOI:10.1007/s11263-019-01204-1
[4]	Pang J M, Chen K, Shi J P, et al. Libra R-CNN: towards balanced learning for object detection[EB/OL]. [2020-06-02]. https://arxiv.org/abs/1904.02701v1.
[5]	Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 779-788.
[6]	Redmon J, Ali F. YOLO9000: better, faster, stronger[C]// IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 6517-6525.
[7]	Redmon J, Ali F. YOLOv3: an incremental improvement[EB/OL]. [2020-06-02]. https://arxiv.org/pdf/1804.02767.pdf.
[8]	Shafiee M J, Chywl B, Li F, et al. Fast YOLO: a fast you only look once system for real-time embedded object detection in video[EB/OL]. [2020-06-02]. https://arxiv.org/abs/1709.05943.
[9]	Ye J, Lu X, Lin Z, et al. Rethinking the smaller-norm-less-informative assumption in channel pruning of convolution layers[EB/OL]. [2020-06-02]. https://arxiv.org/abs/1802.00124.
[10]	Zhang P, Zhong Y, Li X. SlimYOLOv3: narrower, faster and better for real-time UAV applications[EB/OL]. [2020-06-02]. https://arxiv.org/abs/1907.11093.
[11]	Lin T Y. Microsoft COCO: common objects in context[M]// Computer Vision—ECCV 2014. Cham: Springer International Publishing, 2014: 740-755.
[12]	Zheng Z, Wang P, Liu W, et al. Distance-IoU loss: faster and better learning for bounding box regression[EB/OL]. [2020-06-02]. https://arxiv.org/abs/1911.08287.