统计分析方法能够在数学模型的基础上通过公式推导得到相关指标用于衡量故障发生的可能性。常用的统计分析方法包括滤波算法、奇异值分解、模态分解、小波变换等[2-5]。统计分析方法针对特定研究对象和样本集能够得到综合故障指标，然而对于多工况下数据集的故障诊断需要重复建模，因此通用性有限。传统机器学习方法包括支持向量机、隐马尔可夫方法、BP神经网络、径向基神经网络、集成学习等[6-7]。传统机器学习方法大多具有浅层结构，对复杂数据集的非线性特征提取效果有限，因此常常被用作深度学习模型输出层。
深度学习模型是机器学习模型的重要分支，通过贪婪逐层预训练和反向微调以及各种非线性激活函数的组合应用实现复杂特征提取。常用的深度学习模型特征包括自编码器、卷积神经网络(Convolutional Neural Networks, CNN)、深度信念网络、循环神经网络等[8]。深度学习模型因为其出色的隐含特征提取和大数据处理能力在工程领域也有广泛的应用。
宫文峰等[9]提出了一种改进CNN的新方法。使用全局均值池化技术、数据增强、Dropout等深度学习训练技巧实现滚动轴承故障的快速智能诊断；朱丹宸等[10]将不同故障下多个传感器测得的一维振动信号转化为二维灰度图像作为CNN的输入，用于滚动轴承故障诊断；Qiu等[11]在利用时域分析、频域分析、小波包分解等特征提取方法获得相关指标的基础上，利用CNN对齿轮箱进行智能故障诊断；Sun等[12]针对实际故障诊断分布的多样性和可变性，提出了一种求解域自适应的稀疏叠加去噪自编码器算法，用于提高目标区域的滚动轴承故障诊断精度；Che等[13]针对滚动轴承在多种工况下缺乏样本标签的问题，提出了一种适用于滚动轴承故障诊断的区域自适应深度信念网络。
随着深度学习模型层数的提高，会出现模型退化和过拟合的问题。在实际运行环境中存在的较强噪声干扰也会影响滚动轴承故障诊断的精度。为了解决这些问题，本文提出了基于深度残差收缩网络(DRSN)的滚动轴承故障诊断模型。首先，对滚动轴承数据集进行预处理，针对多故障对应的长时间序列的振动信号数据，将其矩阵化为多维度的灰度图故障样本，并将对应的故障类型热编码化，从而得到深度学习模型易于处理的样本形式。针对轴承从正常到故障采集到的全寿命周期故障样本，通过多个采样点的随机采样，构造成故障样本用于进一步的深度故障特征提取。其次，在多层CNN模型的基础上，将残差项加入到模型中进行训练，降低了多层训练过程中的样本特征损失，再将软阈值化和注意力机制用于网络模型的特征激活，从而针对不同等级的含噪声样本设定不同的阈值，实现样本的降噪处理。最后，通过基于不同轴承故障数据集构造深度学习模型，并通过训练和优化实现精准化故障诊断。
1 深度残差收缩网络模型 1.1 深度学习算法理论 深度学习模型具有多层网络结构和非线性激活函数，能够实现大数据样本的复杂特征提取，在工程领域有很好的应用。本文选取了常用的CNN模型作为研究对象。CNN包括输入层、卷积层、池化层、全连接层、输出层。输入层能够收集相关数据样本将其矩阵化，从而转化为模型易于处理的图片样本，同时对图片样本进行归一化、降维、去均值、白化等预处理。卷积层中将每个神经元都作为滤波器，通过将一组固定的权重作为卷积核和不同窗口内的数据做内积运算，通过滑动窗口完成整个样本的卷积运算，其中通过多个卷积核对样本进行处理可以得到包含多通道的特征图，从而将低维度特征映射到高维度空间。池化层用于压缩数据和参数的量，减小过拟合，常用的池化操作包括Max Pooling和Average Pooling。全连接层在卷积神经网络尾部，由多个通道的不同卷积核的隐层一维展开而组成。通过激活函数将全连接层与输出层相连接，从而输出模型分类结果。一个基础的CNN模型的结构如图 1所示。
 |
| 图 1 CNN模型 Fig. 1 Model of CNN |
| 图选项 |
CNN模型前向传播各层的公式如下[14]：
 | (1) |
 | (2) |
 | (3) |
 | (4) |
式中：W和b分别为权重向量和偏置向量；输入al经过卷积层al+1、池化层al+2、全连接层al+3，通过激活函数S(x)=1/(1+e-x)输出分类结果al+4。
假设实际样本标签为y，定义损失函数为
 | (5) |
在求解梯度时假设各层的中间依赖部分δ为[15]
 | (6) |
 | (7) |
 | (8) |
 | (9) |
式中：Upsample函数表示把δl+3中所有子矩阵的各个池化局域的值平均后放在还原后的子矩阵位置的过程; ⊙为Hadamard积，表示2个矩阵的对应元素相乘; S(x)=1/(1+e-x)为Sigmoid激活函数；函数rot180(·)表示将卷积核反转180°。
综上可以得到反向传播过程中模型参数的更新公式为
 | (10) |
 | (11) |
 | (12) |
 | (13) |
式中：λ为学习率；
经过前向传播和反向传播微调可以得到训练好的CNN网络模型。
1.2 深度残差收缩网络 对于传统的深度学习模型，其网络层数越多非线性的表达能力就越强，该模型就能学习到更多的特征。然而随着网络的增加，传统的多层网络结构的非线性表达很难去表示恒等映射，因此模型会出现网络退化问题。振动信号数据中普遍存在噪声干扰，影响故障诊断准确率。为了解决上述问题，本文提出了深度残差收缩网络用于振动信号样本的故障诊断。深度残差收缩网络是一种面向含噪声数据的深度学习方法，在深度残差网络(DRN)进行基于反向传播的模型训练时，其损失不仅能够通过卷积层等进行逐层的反向传播，还能够通过残差项的恒等映射进行更为方便的反向传播。再利用软阈值化对振动信号进行降噪处理，能够得到更优的模型[16]。
假设要求解的映射为H(al)，将这个问题转换为求解网络的残差映射函数F(al)，F(al)=H(al)-al。相较于ReLU函数，软阈值化能够更加灵活地设置特征取值区间。在残差收缩网络中，阈值是可以通过注意力机制根据样本自身情况自动调整的。深度残差收缩网络模型的一部分如图 2所示，其中输入al的尺寸为C×N，在经过隐层1后通过ReLU函数得到al+1作为隐层2的输入。在隐层2通过构建一个小型子网络，学习得到一组取值区间在0~1之间的阈值α，再进行特征的软阈值化并加上残差项F(al)从而得到输出al+2。其中各层的输出如下[17]：
 | (14) |
 | (15) |
 |
| 图 2 深度残差收缩网络模型 Fig. 2 Model of deep residual shrinkage network |
| 图选项 |
式(16)是对每个维度下的a′和对应的阈值α进行比较的基础上得到的软阈值化结果。
 | (16) |
 | (17) |
2 滚动轴承故障诊断模型 本文构建了基于深度残差收缩网络的滚动轴承故障诊断模型，该模型在多层CNN的基础上添加了残差项，并进行了软阈值化。其中恒等映射是深度残差网络的核心贡献，通过将残差项加入网络进行训练，极大程度地降低了深度神经网络训练的难度。软阈值化和注意力机制能够让深度残差网络根据数据集的噪声含量设定不同的阈值，从而使模型具有一定的降噪能力。
基于深度残差收缩网络的滚动轴承故障诊断模型的流程如图 3所示。首先，采集滚动轴承多故障、长时间序列、全寿命周期的振动信号构成故障样本。然后，将样本矩阵化从而构成灰度图故障样本用于深度学习训练，再将灰度图故障样本分为训练集和测试集，其中将训练集代入到由残差项、软阈值和多层CNN而组成的深度残差收缩网络中，经过训练和优化得到故障诊断模型。最后，将测试集代入到故障诊断模型中得到故障诊断结果，通过故障分类正确率来衡量模型的有效性。
 |
| 图 3 基于深度残差收缩网络的滚动轴承故障诊断流程 Fig. 3 Fault diagnosis flowchart of rolling bearing based on deep residual shrinkage network |
| 图选项 |
3 实例分析 为了验证本文方法的有效性，分别采用了凯斯西储大学(Case Western Reserve University)的滚动轴承数据集和西南交通大学的轴承数据集作为实验对象[18-19]，分别构成多故障长时间序列故障样本和全寿命周期故障样本。
3.1 基于多故障长时间序列样本的滚动轴承故障诊断 选用凯斯西储大学的滚动轴承数据集中采样频率为48 kHz的故障尺寸为0.007 in(1 in(英尺)=0.304 8 m) 的故障样本集，该数据集的6种故障以及对应的长时间序列数如表 1所示。
表 1 滚动轴承故障样本集 Table 1 Failure dataset of rolling bearing
| 故障代号 | 故障描述 | 时间序列数 |
| F1 | 内圈故障 | 1×104 |
| F2 | 滚珠故障 | 1×104 |
| F3 | 外圈承压端故障 | 1×104 |
| F4 | 外圈侧面故障 | 1×104 |
| F5 | 外圈承压端对面故障 | 1×104 |
| F6 | 正常状态 | 1×104 |
表选项
3.1.1 故障样本预处理 将收集到的长时间序列的振动信号样本经过Z-score标准化后可以得到如图 4所示的结果。其中Z-score标准化是将数据按比例缩放，使之落入一个特定区间。假设样本x=(x1, x2, …, xk, …) 的均值为μ，方差为σ，可以得到Z-score标准化后的样本z的求解公式为
 | (18) |
 |
| 图 4 标准化后的振动信号样本 Fig. 4 Sample of standardized vibration signal |
| 图选项 |
为了将振动信号样本转化为深度学习模型易于处理的样本形式，本文将一维的长时间序列样本矩阵化为20×20的灰度图故障样本，选用F1的一个故障样本如图 5所示。
 |
| 图 5 灰度图故障样本 Fig. 5 Gray image fault sample |
| 图选项 |
为了模拟滚动轴承在实际运行环境中的噪声干扰，本文在原有样本上添加了具有不同方差的高斯白噪声。定义σ=0.01为噪声等级1，σ=0.02为噪声等级2。
通过重复间隔采样从每种类别中分别抽取1 200个样本构成总数为7 200的样本集。
3.1.2 模型的构建与训练 定义深度残差收缩网络的模型参数如图 6所示。本文构建的深度残差收缩网络包含了10个隐层，其中每隔2个隐层添加残差项，并进行软阈值操作。其中输入的参数(20×20, Conv, 10)表示输入样本的尺寸是20×20，模型是CNN，通道数是10。将输入层进行Pooling操作和ReLU函数处理得到尺寸为10×10的特征输入到隐层中，其中前4个隐层的参数相同，在第4个隐层后通过Pooling将特征尺寸压缩到5×5，同时通道数增加到20。在第10个隐层，经过Pooling操作和ReLU函数处理后，将多个通道的特征图展开并输入到全连接层，然后通过Softmax函数得到故障分类结果。
 |
| 图 6 深度残差收缩网络结构 Fig. 6 Structure of deep residual shrinkage network |
| 图选项 |
定义每个批次包含32个样本，训练50个周期(Epoch)可以得到训练均方误差(Mean Square Error，MSE)和训练过程中训练集正确率的变化过程，如图 7所示。经过50个Epoch，训练误差从0.58降低到0.019，分类正确率从79.4%增加到99.5%。
 |
| 图 7 训练误差与分类正确率变化 Fig. 7 Change of training error and classification accuracy |
| 图选项 |
将噪声等级1和噪声等级2的样本集作为测试集代入到训练好的模型中进行故障分类可以得到测试结果，如图 8所示。其中噪声等级1(N1)和噪声等级2(N2)的样本集故障分诊断正确率分别为98.6%和97.1%。可以看出，在添加噪声后，只有F3和F4的故障诊断出现一些偏差。考虑到F3和F4都属于外圈故障，其故障机理有高度相似性，因此可以认为该模型在噪声干扰下得到了较高的故障诊断正确率，能够用于指导实际工况下的滚动轴承故障诊断。
 |
| 图 8 样本故障诊断结果 Fig. 8 Fault diagnosis results of samples |
| 图选项 |
将深度残差收缩网络模型与深度残差网络和不含残差收缩功能的CNN模型相比较，其训练过程中的误差变化如图 9所示。DRSN、DRN和CNN在第50个Epoch的训练误差分别为0.018 7、0.029 8和0.031 2。可以看出，DRSN模型和DRN模型比CNN模型的误差下降更快，DRSN有最低的训练误差。
 |
| 图 9 训练误差对比 Fig. 9 Comparison of training error |
| 图选项 |
3.2 基于全寿命周期样本的滚动轴承故障诊断 本节从西南交通大学的轴承数据集中选取了在37.5 Hz/11 kN的运行条件下的外圈故障和保持架故障作为研究对象[20]。其中外圈和保持架分别从正常到故障运行了5小时39分钟和8小时53分钟，并在339个和533个采样点采集到了水平振动信号和垂直信号数据集。为了方便模型处理，选取2种故障发生前的200个采样点以内的振动信号数据，将每个采样点对应的长时间序列振动信号按照一定长度分为多个小样本，并从所有采样点随机选取小样本，将其对应振动信号的振幅作为指标构造成包含200维的水平振动信号振幅和200维的垂直信号振幅的全寿命周期故障样本。选取2种故障的全寿命周期样本如图 10所示。
 |
| 图 10 滚动轴承全寿命周期故障样本 Fig. 10 Life cycle failure sample of rolling bearing |
| 图选项 |
在3.1节的样本预处理和模型构造的基础上，将输出节点改为2，可以构造深度残差收缩网络用于全寿命周期样本的故障诊断。在经过50个Epoch后，可以得到其训练误差降低到0.005，故障诊断正确率也达到了99.5%。该实验说明在经过一定的数据集成处理后，通过深度残差收缩网络能够准确地判断特征指标变化曲线对应的故障类别，从而实现基于滚动轴承振动信号的精准化故障诊断。
3.3 对比实验 为了全面验证本文方法的有效性，构建了包含10个隐层的深度信念网络(Deep Belief Network, DBN)和人工神经网络(Artificial Neural Network, ANN)，其隐层节点为[360, 320, 280, 240, 200, 160, 120, 80, 40, 20]。同时，还构建了传统的支持向量机(Support Vector Machine, SVM)实现从400维的样本到输出节点为6的数据集1和输出节点为2的数据集2的故障分类。对比模型在2种故障样本集的诊断正确率如表 2所示。可以看出，DRSN在不同数据集和噪声等级下的诊断正确率都最高，与其他深度学习模型和传统模型，其平均正确率提高了1%~6%。
表 2 故障诊断正确率对比 Table 2 Comparison of fault diagnosis accuracy?
| 模型 | 数据集1 | 数据集2 | 平均值 | |||||
| 原始 | N1 | N2 | 原始 | N1 | N2 | |||
| DRSN | 99.2 | 98.6 | 97.1 | 99.5 | 99.1 | 98.7 | 98.7 | |
| DRN | 98.2 | 97.8 | 96.1 | 98.8 | 98.2 | 97.5 | 97.8 | |
| CNN | 97.4 | 96.2 | 94.3 | 98.1 | 97.7 | 97.3 | 96.8 | |
| DBN | 96.5 | 94.7 | 93.8 | 97.9 | 96.7 | 95.8 | 95.9 | |
| SVM | 90.8 | 88.2 | 85.4 | 95.6 | 93.4 | 91.5 | 90.8 | |
| ANN | 91.3 | 89.4 | 87.6 | 96.9 | 95.1 | 94.7 | 92.5 | |
表选项
4 结论 1) 针对多故障下的长时间序列滚动轴承振动数据，将滚动轴承的一维振动信号数据矩阵化为多维度的灰度图故障样本，从而便于深度学习模型训练。
2) 针对从正常状态到故障的滚动轴承性能退化过程，通过多个采样点的随机采样，构造全寿命周期的故障样本用于故障诊断。
3) 使用多层卷积网络模型框架用于滚动轴承故障诊断，能够充分挖掘长时间序列多故障类型的振动信号数据的深层次特征。
4) 将残差项加入到模型中进行训练，降低了多层训练过程中的样本特征损失，从而解决了多层深度学习模型的网络退化问题。
5) 将软阈值化和注意力机制用于网络模型的特征激活，从而针对不同等级的含噪声样本设定不同的阈值，实现样本的降噪处理。
为了提高模型的鲁棒性，得到更准确的故障诊断结果，需要选取更多工况下的样本集用于模型训练，并探究多种深度学习模型框架添加残差收缩模块的可能性。
参考文献
| [1] | LEI Y G, YANG B, JIANG X W, et al. Applications of machine learning to machine fault diagnosis: A review and roadmap[J]. Mechanical Systems and Signal Processing, 2020, 138: 106587. |
| [2] | 余建波, 吕靖香, 程辉, 等. 基于ITD和改进形态滤波的滚动轴承故障诊断[J]. 北京航空航天大学学报, 2018, 44(2): 241-249. YU J B, LV J X, CHENG H, et al. Fault diagnosis for rolling bearing based on ITD and improved morphological filter[J]. Journal of Beijing University of Aeronautics and Astronautics, 2018, 44(2): 241-249. (in Chinese) |
| [3] | 丁显, 徐进, 滕伟, 等. 基于无参数经验小波变换的风电齿轮箱故障特征提取[J]. 振动与冲击, 2020, 39(8): 99-105. DING X, XU J, TENG W, et al. Fault feature extraction of a wind turbine gearbox using adaptive parameterless empirical wavelet transform[J]. Journal of Vibration and Shock, 2020, 39(8): 99-105. (in Chinese) |
| [4] | WANG L M, SHAO Y M. Fault feature extraction of rotating machinery using a reweighted complete ensemble empirical mode decomposition with adaptive noise and demodulation analysis[J]. Mechanical Systems and Signal Processing, 2020, 138: 106545. DOI:10.1016/j.ymssp.2019.106545 |
| [5] | 李政, 张炜, 明安波, 等. 基于IEWT和MCKD的滚动轴承故障诊断方法[J]. 机械工程学报, 2019, 55(23): 136-146. LI Z, ZHANG W, MING A B, et al. A novel fault diagnosis method based on improved empirical wavelet transform and maximum correlated kurtosis deconvolution for rolling element bearing[J]. Journal of Mechanical Engineering, 2019, 55(23): 136-146. (in Chinese) |
| [6] | 曹惠玲, 高升, 薛鹏. 基于多分类AdaBoost的航空发动机故障诊断[J]. 北京航空航天大学学报, 2018, 44(9): 1818-1825. CAO H L, GAO S, XUE P. Aeroengine fault diagnosis based on multi-classification AdaBoost[J]. Journal of Beijing University of Aeronautics and Astronautics, 2018, 44(9): 1818-1825. (in Chinese) |
| [7] | 崔路瑶. 基于机器学习的滚动轴承智能故障诊断方法研究[D]. 南昌: 华东交通大学, 2019: 1-77. CUI L Y. Research on fault diagnosis method of rolling bearing based on machine learning[D]. Nanchang: East China Jiaotong University, 2019: 1-77(in Chinese). |
| [8] | 车畅畅, 王华伟, 倪晓梅, 等. 基于深度学习的航空发动机故障融合诊断[J]. 北京航空航天大学学报, 2018, 44(3): 621-628. CHE C C, WANG H W, NI X M, et al. Fault fusion diagnosis of aero-engine based on deep learning[J]. Journal of Beijing University of Aeronautics and Astronautics, 2018, 44(3): 621-628. (in Chinese) |
| [9] | 宫文峰, 陈辉, 张泽辉, 等. 基于改进卷积神经网络的滚动轴承智能故障诊断研究[J]. 振动工程学报, 2020, 33(2): 400-413. GONG W F, CHEN H, ZHANG Z H, et al. Intelligent fault diagnosis for rolling bearing based on improved convelutional neural network[J]. Journal of Vibration Engineering, 2020, 33(2): 400-413. (in Chinese) |
| [10] | 朱丹宸, 张永祥, 潘洋洋, 等. 基于多传感器信号和卷积神经网络的滚动轴承故障诊断[J]. 振动与冲击, 2020, 39(4): 172-178. ZHU D C, ZHANG Y X, PAN Y Y, et al. Fault diagnosis for rolling element bearings based on multi-sensor signals and CNN[J]. Journal of Vibration and Shock, 2020, 39(4): 172-178. (in Chinese) |
| [11] | QIU G Q, GU Y K, CAI Q. A deep convolutional neural networks model for intelligent fault diagnosis of a gearbox under different operational conditions[J]. Measurement, 2019, 145: 94-107. DOI:10.1016/j.measurement.2019.05.057 |
| [12] | SUN M D, WANG H, LIU P, et al. A sparse stacked denoising autoencoder with optimized transfer learning applied to the fault diagnosis of rolling bearings[J]. Measurement, 2019, 146: 305-314. DOI:10.1016/j.measurement.2019.06.029 |
| [13] | CHE C C, WANG H W, NI X M, et al. Domain adaptive deep belief network for rolling bearing fault diagnosis[J]. Computers & Industrial Engineering, 2020, 143: 106427. |
| [14] | ZHANG Y, XING K S, BAI R X, et al. An enhanced convolutional neural network for bearing fault diagnosis based on time-frequency image[J]. Measurement, 2020, 157: 107667. DOI:10.1016/j.measurement.2020.107667 |
| [15] | LIANG P F, DENG C, WU J, et al. Compound fault diagnosis of gearboxes via multi-label convolutional neural network and wavelet transform[J]. Computers in Industry, 2019, 113: 103132. DOI:10.1016/j.compind.2019.103132 |
| [16] | ZHAO M, ZHONG S, FU X, et al. Deep residual shrinkage networks for fault diagnosis[J]. IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690. DOI:10.1109/TII.2019.2943898 |
| [17] | QIU W Y, LI D X, JIN X Y, et al. Deep neural network inspired by iterative shrinkage-thresholding algorithm with data consistency (NISTAD) for fast undersampled MRI reconstruction[J]. Magnetic Resonance Imaging, 2020, 70: 134-144. DOI:10.1016/j.mri.2020.04.016 |
| [18] | OCAK H, LOPARO K A. HMM-based fault detection and diagnosis scheme for rolling element bearings[J]. Journal of Vibration and Acoustics, 2005, 127: 299-306. DOI:10.1115/1.1924636 |
| [19] | SMITH W A, RANDALL R B. Rolling element bearing diagnostics using the Case Western Reserve University data: A benchmark study[J]. Mechanical Systems and Signal Processing, 2015, 64-65: 100-131. DOI:10.1016/j.ymssp.2015.04.021 |
| [20] | WANG B, LEI Y, LI N, et al. A hybrid prognostics approach for estimating remaining useful life of rolling element bearings[J]. IEEE Transactions on Reliability, 2020, 69: 401-412. DOI:10.1109/TR.2018.2882682 |
