侯东晓¹, 穆金涛¹, 方成¹, 时培明²
1. 东北大学秦皇岛分校控制工程学院, 河北秦皇岛 066004;
2. 燕山大学电气工程学院, 河北秦皇岛 066004
收稿日期：2021-05-17
基金项目：国家自然科学基金资助项目(61973262)；河北省自然科学基金资助项目(E2019203146, E2020501013)。
作者简介：侯东晓(1982-)，男，山西平遥人，东北大学秦皇岛分校副教授;
时培明(1979-)，男，黑龙江延寿人，燕山大学教授，博士生导师。

摘要：针对传统分析方法对于轴承在变速情况下的故障诊断较为困难的问题, 提出一种基于格拉姆角差场(Gramian angular difference field, GADF)与引入迁移学习的ResNet34模型对变速轴承的故障诊断方法.首先利用GADF对一维时序振动信号进行编码, 转换成二维图像, 产生相应的故障图, 再将这些故障图输入引用迁移学习的残差网络(ResNet)自动进行故障特征提取及分类.为了验证该方法的有效性, 综合对比其他方法, 本文方法在西储大学轴承数据集上表现更好.最后对加拿大渥太华大学的变速轴承数据集进行诊断, 检验其在变速情况下的分类性能.结果表明, 在变速情况下, 所提方法可达到较高的诊断精度.
关键词：故障诊断变速轴承格拉姆角域残差网络迁移学习
Fault Diagnosis of Variable Speed Bearings Based on GADF and ResNet34 Introduced Transfer Learning
HOU Dong-xiao¹, MU Jin-tao¹, FANG Cheng¹, SHI Pei-ming²
1. School of Control Engineering, Northeastern University at Qinhuangdao, Qinhuangdao 066004, China;
2. School of Electrical Engineering, Yanshan University, Qinhuangdao 066004, China
Corresponding author: MU Jin-tao, E-mail: 791095621@qq.com.

Abstract: Aiming at the problem that traditional analysis methods are difficult for fault diagnosis of bearings under variable speeds, a fault diagnosis method was proposed for variable speed bearings based on GADF(Gramian angular difference field) and ResNet34 model introduced transfer learning. Firstly, a one-dimensional time-series vibration signal was encoded by using GADF and converted into a two-dimensional image to generate the corresponding fault maps, which were then input into a residual network (ResNet) using transfer learning to automatically extract and classify fault features. To verify the effectiveness of the method, the results of comprehensive comparison with other methods showed that the proposed method performs better on the Western Reserve University bearing dataset. Finally, the variable speed bearing dataset from the University of Ottawa in Canada was diagnosed to examine its classification performance in the variable speed case. The results showed that a high diagnostic accuracy can be achieved in the variable speed case.
Key words: fault diagnosisvariable speed bearingGramian angular fieldresidual network(ResNet)transfer learning
滚动轴承是旋转机械中最常见、最重要的部件之一, 其运转状态影响着机械系统的安全和生产质量.在实际工况下, 设备(轧机压下系统、变频电机等)一般处于变速情况, 若滚动轴承出现故障, 会引起非线性振动等异常工作状态, 因此, 对于滚动轴承在变速情况下进行故障识别具有重要意义.
Tang等^[1]将多条时频曲线(MTFC)区分为感兴趣曲线和不感兴趣曲线, 再把感兴趣曲线之间的平均比率与理论故障特征系数进行匹配, 以确定故障类型.Tra等^[2]从非稳态信号的不同子带中提取特征, 结合支持向量机、人工神经网络对轴承故障进行分类.Niu等^[3]使用Vold-Kalman阶梯跟踪滤波器准确估计旋转相位信息, 并利用提取的旋转相位对振动信号进行重采样, 将其解调后计算出包络阶谱, 识别故障.
卷积神经网络作为被广泛使用的深度学习网络^[4], 在故障诊断领域也发挥了重要作用.Chen等^[5]将一维振动信号作为输入, 利用1D-CNN进行特征提取, 结合长短时记忆(LSTM)的识别能力对提取出的特征进行故障识别, 也可达到较好效果.Eren等^[6]采用紧凑的自适应一维卷积神经网络对轴承进行故障诊断, 有较高的实时响应能力.张立智等^[7]先对振动信号经验模态分解(EMD)得到前6个本征模态分量(IMF), 快速傅里叶变换(FFT)后构造时、频域空间矩阵, 再对其进行奇异值分解(SVD)构造特征矩阵, 输入CNN完成故障诊断.Wei等^[8]采取端到端的方法, 提出一种新模型, 将未去噪的时间信号作为输入, 同样可以得到相当高的模型精度, 即使改变工作负载, 也可以保持很高的精度, 并且为了理解模型的工作原理, 将学习到的特征神经元部分进行了可视化处理.
考虑到卷积神经网络最广泛也最成熟的处理对象是二维图像, 有****将一维时序信号编码为二维图像^[9], 再进行故障分类.Hoang等^[10]利用振幅大小对应不同像素值的思路, 将振动信号转换为灰度图像, 不同故障的振幅相差较大, 结果证明方法有效.万齐杨等^[11]构造小波变换下的时频图并进行去噪处理后, 输入CNN完成故障诊断.Yuan等^[12]首先对振动信号进行希尔伯特-黄变换(HHT)转换为时频图, 再利用CNN将这些故障图分类.
本文提出的基于GADF(Gramian angular different field)与引入迁移学习的ResNet34模型的方法无需人工提取故障特征, 实验结果证实, 可有效实现对变速运转环境下的轴承故障类型分类.首先利用GADF编码形式将不同的一维振动信号转换成差异明显的二维图像, 再将其输入引入迁移学习的ResNet34模型实现故障诊断, 此处引入迁移学习可以增强模型的特征提取能力, 达到更好的分类效果.为了证实本文方法的有效性, 使用西储大学的轴承数据进行验证, 最后对加拿大渥太华大学变速轴承进行故障分类.
1 GAF编码图像利用卷积神经网络在处理二维图像上的优势, 将振动信号转换为GADF图, 方便其输入模型进行故障分类.
格拉姆角域(Gramian angular field, GAF)是一种将时序信号转换为二维图像的编码方式^[9].先将振动时序信号的实测值X={x₁, x₂, …, x_n}通过式(1)或式(2)重新编排在[-1, 1]或[0, 1]区间内,

(1)

或

(2)

重新编排的时间序列为, 通过式(3)将数值编码为角余弦, 在极坐标中表示如下:

(3)

式中: r_i为半径；t_i为时间戳; N是用来规范极坐标系跨度的一个常数.随着时间的增加, 相应的数值在跨度圆上的不同角度点之间发生扭曲.
最后, 重新编排的时间序列转换为极坐标系, 考虑每个点之间的三角和或差值, 利用角度透视对不同时序间隔内的相关性进行识别, GAF的定义如下:

(4)

(5)

式中: I为单位行向量; 分别为不同的行向量.时间序列转换极坐标系后, 把每个时间序列片段作为一个1D度量空间；GASF为格拉姆角和场.
振动信号通过GAF编码转换为两种形式: 三角函数和/差及角度透视后对应编码为GASF/GADF图, 如图 1所示.两种编码图对比之下, GADF编码图色差丰富, 细节处理较为完善, 特征也更加显著, 故选定GADF对时序信号进行编码转换.
图 1(Fig. 1)

图 1 GAF编码过程Fig.1 GAF encoding process

2 基于迁移学习的ResNet34模型网络结构加深, 模型精度随之提升, 但是在增加网络深度的同时, 伴随着梯度消失或梯度爆炸, 为了改善此类问题, 通常使用权重初始化、批标准化(bath normalization, BN)处理以及随机梯度下降法(stochastic gradient descent, SGD)等, 以上方法虽然起到一定效果, 但是网络层级依旧不能大量堆叠.
2.1 残差网络(ResNet)网络层级的加深, 产生了另一个问题: 层级深的网络, 训练精度反而更低, 即模型退化问题(degradation).He等^[4]提出的ResNet引入残差结构, 成功解决了这个问题, 在提高模型精度的前提下, 最深的网络达到了1 000层以上, 常用的为ResNet18，ResNet34，ResNet50，ResNet101，ResNet152.综合考虑设备环境及图像训练难度, 本文引用ResNet34为分类模型, 基本框架如图 2所示, 模型参数如表 1所示.
图 2(Fig. 2)

图 2 ResNet34总体结构Fig.2 General structure of ResNet34

表 1(Table 1)

表 1 ResNet34参数设置Table 1 Parameter settings of ResNet34 布局 输出维度 层级设计 输入 224×224×3 — conv1 112×112×64 7×7×64, s=2 BN，ReLU 112×112×64 — max pool 56×56×64 3×3, s=2 conv2_x 56×56×64 conv3_x 28×28×128 conv4_x 14×14×256 conv5_x 7×7×512 ReLU 7×7×512 — avg pool 1×1×512 7×7, s=1 fc 1×1×1 000 — softmax 1 000 —

表 1 ResNet34参数设置 Table 1 Parameter settings of ResNet34

2.2 残差结构残差块(residual blocks)的提出, 是ResNet网络的强大所在, 采用快捷通道(shortcut)方式将上一层训练得到的优质权重x直接传递给下一层, 通过这种方式, 即使中间层F(x)训练得不好, 训练误差较大, 也不影响上一层的训练结果, 如式(6)所示, 残差输出为H(x),

(6)

若没有快捷通道, 每一层训练结果输出为F(x), 就意味着若上一层训练结果误差较大, 则会传递给下一层, 如此反复传递, 有可能陷入局部最优或者无法收敛.残差结构信息损失较少且没有给网络增加额外的参数和计算量.
残差结构处于不同位置时, 考虑到输出维度匹配性, 需要作出相应调整, 主要结构分为两种: 恒等映射(identity)和投影映射(projection).
第一种如图 3所示, 对应图 2中实线部分, 输入维度与输出维度相同时采用此结构, 包括256个3×3大小卷积核的卷积层(conv)、批归一化层(batch normalization, BN)和激活函数层(ReLU).
图 3(Fig. 3)

图 3 恒等映射残差Fig.3 Identity residual

第二种如图 4所示, 对应图 2中虚线部分, 输入维度为128, 输出维度为256, 不能进行运算, 故在主线路上卷积核数量增加至256, 快捷线路的卷积核大小设置为1×1, 数量同样为256, 这样快捷线路与主线路的输出维度即可匹配.
图 4(Fig. 4)

图 4 投影映射残差Fig.4 Projection residual

2.3 构建引入迁移学习的ResNet34模型由于故障诊断中的标注样本量较少, 与ImageNet中1 000万的数据样本量相差很多, 所以想要训练深层网络模型较困难.想达到较好的训练效果, 一个重要的前提就是要有足够多的数据支撑.为了解决这个问题, 可使用迁移学习的方法(见图 5).由于训练模型参数具备较强的特征迁移能力, 对其他数据集进行特征提取时可直接引入, 提升网络模型开发效率的同时, 还可以强化模型性能, 并加速训练过程.引入在大型数据集ImageNet上训练好的模型作为特征提取器, 这种模型已经具备提炼抽象特征的能力, 可更好地挖掘深层次图像特征, 对于样本量较少的数据集依旧可以表现良好.本文采用微调的迁移策略, 在训练过程中仅改变softmax层, 其他层在训练过程中载入ResNet34在ImageNet数据集已经训练好的权重参数, 并从起始训练, 将本模型简称为T-ResNet34, 以方便后续描述引用.
图 5(Fig. 5)

图 5 迁移学习Fig.5 Transfer learning

3 验证模型的有效性3.1 实验数据采用西储大学(CWRU)轴承数据^[13]验证所提方法可用于滚动轴承故障诊断.以驱动端6205-2RS JEM SKF深沟球轴承为例, 对外圈的3, 6, 12点钟方向、滚动体及内圈布置单点损伤, 损伤直径为0.177 8，0.355 6和0.533 4 mm, 电机负载分为0, 0.75, 1.5，2.2 kW四种情况, 本文选用0 kW的情况, 在驱动端的轴承座上方放置一个加速度传感器, 采集振动信号, 采样频率为12 kHz, 其中外圈选用故障位置为6点钟方向, 共9种故障状态, 1种健康状态, 对这10种状态的轴承制作相应的数据样本.
3.2 制作数据样本对振动信号取前十万个数据点, 滑动窗口大小对应300个数据点^[14], 生成一个256×256的GADF编码图样本, 滑动步长设置为249, 每类健康状态构造390份样本, 按照9∶ 1比例划分训练集和验证集, 样本集如表 2所示.为了更清晰地表征不同故障, 将每类故障典型的编码图提取出来如图 6所示.
表 2(Table 2)

表 2 数据样本Table 2 Data samples 故障位置 标签 损伤直径/mm 训练集 验证集 无 0 0 351 39 1 0.177 8 351 39 滚动体 2 0.355 6 351 39 3 0.533 4 351 39 4 0.177 8 351 39 内圈 5 0.355 6 351 39 6 0.533 4 351 39 7 0.177 8 351 39 外圈@6 8 0.355 6 351 39 9 0.533 4 351 39

表 2 数据样本 Table 2 Data samples

图 6(Fig. 6)

图 6 各种健康状态GADF编码图Fig.6 GADF coding diagram for various health states (a)—正常；(b)—0.177 8 mm滚动体故障；(c)—0.177 8 mm内圈故障；(d)—0.177 8 mm外圈故障；(e)—0.355 6 mm滚动体故障；(f)—0.355 6 mm内圈故障；(g)—0.355 6 mm外圈故障；(h)—0.533 4 mm滚动体故障；(i)—0.533 4 mm内圈故障；(j)—0.533 4 mm外圈故障.

经GADF编码转换生成的二维图像, 不同故障类别的振动信号生成的编码图特征区别明显, 纹理表征清晰, 有利于故障分类.
3.3 实验结果与分析迭代次数设为120, 由图 7可知, T-ResNet34从一开始就达到了较高的准确率, 训练过程相较于其他两种波动更小, 较为稳定, 模型准确率达到了98.5 %, 未改进处理的ResNet34为96.9 %, 而引入注意力机制SE模块的SE-ResNet34虽然也达到了98.7 %, 但是训练损失相对T-ResNet34较高, 说明提取特征能力并不如本模型.
图 7(Fig. 7)

图 7 验证准确率及训练损失曲线Fig.7 Testing accuracy and training loss curve (a)—准确率；(b)—训练损失.

坐标系数值0 ~ 9分别对应图 6中的10种故障类型, 对角线上的值代表真实值与预测值重合, 即分类、预测的准确程度, 颜色越深, 表明预测精度越高.由图 8可知, 每类验证集样本量为39, 对于第4类故障, 有4个样本预测出现偏差, 第7类和第9类故障分别有1个样本偏差, 主要由于个别样本图与其他类别较为相似, 导致预测时出现误判, 其他7种类别的分类、预测精度均达到100 % 准确.
图 8(Fig. 8)

图 8 混淆矩阵Fig.8 Confusion matrix

3.4 不同诊断方法对比为了验证本文方法的有效性, 在同样数据集的前提下, 与以下几种方法进行对比: 文献[5]直接将一维振动信号作为输入, 结合1D-CNN与长短时记忆网络(LSTM)实行故障诊断.文献[6]将1D-CNN与多层感知机(MLP)结合, 构造一个自适应的故障诊断系统, 以实现快速响应.文献[12]首先对振动信号进行希尔伯特-黄变换(HHT)构造时频图, 再输入2D-CNN进行故障分类.几种方法准确率的对比结果如图 9所示，可以看出，本文所提方法的准确率最高达到98.5 %.
图 9(Fig. 9)

图 9 整体方法对比Fig.9 Overall method comparison

4 变速轴承故障诊断滚动轴承在变速情况下出现故障时, 传统的人工特征提取较为困难, 需要考虑的因素及预处理较多, 过程也相对繁琐, 本文采用的GADF转换二维图像与T-ResNet34方法无需人工提取特征, 编码图表征出的差异足够明显.
4.1 变速轴承实验数据采用加拿大渥太华大学的变速轴承数据^[15]进行故障诊断.由电机驱动轴、交流驱动装置控制转速, 2个ER16K滚珠轴承安装在轴的两边, 分别为健康轴承和实验轴承, 采集振动信号的ICP加速度计放置在实验轴承的外壳上, 采样频率为200 kHz, 增量编码器(EPC 775型)用于测量轴的旋转速度.
此实验过程针对12种不同运转状况, 轴承健康状态包括: 正常、内圈故障、外圈故障, 各包含4种工作转速变化条件: 频率增加(从14.1 Hz到23.8 Hz)、频率降低(从28.9 Hz到13.7 Hz)、频率先增加后降低(先从14.7 Hz增速到25.3 Hz, 然后减速到21.0 Hz), 以及频率先降低后增加(先从24.2 Hz减速到14.8 Hz, 然后增速到20.6 Hz).
4.2 制作变速轴承数据样本由于本数据集实验采集信号过程中的采样频率远大于西储轴承数据, 经对比分析, 生成编码图的数据点也应该相应增加.
设置2 000个数据点生成一张256×256大小的GADF编码图, 此时的图像特征表现比较明显, 适合作为滑动窗口的宽度.同时, 为了保证产生的故障图不受信号叠加等因素影响, 采取不重叠方式构造样本, 滑动步长设置为2 000.每种故障类别生成400个样本, 按照9∶ 1比例划分训练集与验证集, 共分为四大类, 如表 3所示.
表 3(Table 3)

表 3 变速轴承数据样本Table 3 Sample of variable speed bearing data 工作转速情况 轴承健康状态及其标号 标签 样本数量 训练集 验证集 速度增加 正常(I_N) 0 400 360 40 内圈故障(I_I) 1 400 360 40 外圈故障(I_O) 2 400 360 40 速度降低 正常(D_N) 0 400 360 40 内圈故障(D_I) 1 400 360 40 外圈故障(D_O) 2 400 360 40 速度先增后降 正常(I-D_N) 0 400 360 40 内圈故障(I-D_I) 1 400 360 40 外圈故障(I-D_O) 2 400 360 40 速度先降后增 正常(D-I _N) 0 400 360 40 内圈故障(D-I _I) 1 400 360 40 外圈故障(D-I _O) 2 400 360 40

表 3 变速轴承数据样本 Table 3 Sample of variable speed bearing data

4.3 变速轴承实验结果与分析总共四大类变速工况, 每种类别包含3种健康状态, 分别对这四大类进行故障分类诊断.将轴承振动信号经GADF编码转换后生成的编码图输入T-ResNet34模型, 得到最终分类结果.
由表 4可知, 本文提出的方法在训练后均达到较高的准确率, 并且损失值也较低, 说明本模型对于变速工况下泛化能力较好.
表 4(Table 4)

表 4 模型最终训练结果Table 4 Final training results of the model 工况类别 模型准确率/% 最低损失 增速 99.2 0.021 减速 100 0.010 先增速后减速 100 0.007 先减速后增速 100 0.021

表 4 模型最终训练结果 Table 4 Final training results of the model

由图 10可知, 验证集的样本量为40, 只有在速度增加时, 对于健康轴承的预测出现误判, 主要由于个别数据段振动情况与内圈故障类似, 将其中一个样本预测为内圈故障; 其余变速情况下的故障诊断均达到100 % 准确, 说明所提方法在变速情况下仍可达到较好效果.
图 10(Fig. 10)

图 10 四种变速工况下的混淆矩阵Fig.10 Confusion matrix for the four variable speed operating conditions (a)—增速；(b)—减速；(c)—先减速后增速；(d)—先增速后减速.

5 结论1) 经实验验证, 样本量较少时, 可采用迁移学习的方式提升模型性能, 将其与原模型ResNet34和引入注意力机制SE模块的SE-ResNet34作对比, 虽然两种改进的方法都起到一定效果, 但是通过综合考量训练过程的验证准确率变化的稳定性与训练损失, 引入迁移学习的模型T-ResNet34在特征提取能力方面表现更好.
2) 本文采用的方法: 将一维振动信号转换成GADF编码图, 输入T-ResNet34模型进行故障诊断, 可以对轴承故障有效分类识别, 在西储轴承数据上达到了98.5 % 的准确率.
3) 不需要考虑由于转速变化造成的复杂因素, 数据预处理简单，本文的方法适用于变速工况下滚动轴承的故障诊断, 用加拿大渥太华大学轴承数据集验证, 结果表明, 增速情况下的模型准确率为99.2 %, 其余三种情况均100 % 准确.
参考文献

[1]	Tang G, Wang Y, Huang Y, et al. Multiple time-frequency curve classification for tacho-less and resampling-less compound bearing fault detection under time-varying speed conditions[J]. IEEE Sensors Journal, 2021, 21(4): 5091-5101. DOI:10.1109/JSEN.2020.3035623
[2]	Tra V, Kim J, Khan S A, et al. Incipient fault diagnosis in bearings under variable speed conditions using multiresolution analysis and a weighted committee machine[J]. The Journal of the Acoustical Society of America, 2017, 142(1): 35-41. DOI:10.1121/1.4990375
[3]	Niu J, Lu S, Liu Y, et al. Bearing fault diagnosis of BLDC motor using Vold-Kalman order tracking filter under variable speed condition[C]//IEEE Conference on Industrial Electronics and Applications(ICIEA). Xi'an, 2019: 2379-2383.
[4]	He K M, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition. Seattle, 2016: 770-778.
[5]	Chen X H, Zhang B K, Gao D. Bearing fault diagnosis base on multi-scale CNN and LSTM model[J]. Journal of Intelligent Manufacturing, 2021, 32(1): 971-987.
[6]	Eren L, Ince T, Kiranyaz S. A generic intelligent bearing fault diagnosis system using compact adaptive 1D CNN classifier[J]. Journal of Signal Processing Systems for Signal Image and Video Technology, 2019, 91(2): 179-189. DOI:10.1007/s11265-018-1378-3
[7]	张立智, 徐卫晓, 井陆阳, 等. 基于EMD-SVD和CNN的旋转机械故障诊断[J]. 振动, 测试与诊断, 2020, 40(6): 1063-1070, 1228. (Zhang Li-zhi, Xu Wei-xiao, Jing Lu-yang, et al. Fault diagnosis of rotating machinery based on EMD-SVD and CNN[J]. Vibration, Test and Diagnosis, 2020, 40(6): 1063-1070, 1228.)
[8]	Zhang W, Li C H, Peng G L, et al. A deep convolutional neural network with new training methods for bearing fault diagnosis under noisy environment and different working load[J]. Mechanical Systems and Signal Processing, 2018, 100(1): 439-453.
[9]	Wang Z, Oates T. Imaging time-series to improve classification and imputation[C]//The 24th International Joint Conference on Artificial Intelligence(IJCAI). Buenos Aires, Argentina, 2015: 3939-3945.
[10]	Hoang D T, Kang H J. Rolling element bearing fault diagnosis using convolutional neural network and vibration image[J]. Cognitive Systems Research, 2018, 53: 42-50.
[11]	万齐杨, 熊邦书, 李新民, 等. 基于DCAE-CNN的自动倾斜器滚动轴承故障诊断[J]. 振动与冲击, 2020, 39(11): 273-279. (Wan Qi-yang, Xiong Bang-shu, Li Xin-min, et al. Automatic tilter rolling bearing fault diagnosis based on DCAE-CNN[J]. Vibration and Shock, 2020, 39(11): 273-279.)
[12]	Yuan Z, Zhang L, Duan L, et al. Intelligent fault diagnosis of rolling element bearings based on HHT and CNN[C]//Prognostics and System Health Management Conference(PHM-Chongqing). Chongqing, 2018: 292-296.
[13]	Case Western Reserve University Bearing Data Center. Data file[EB/OL]. (2018-06-10)[2021-03-10]. https://csegroups.case.edu/bearingdatacenter/pages/download-data-file.
[14]	仝钰, 庞新宇, 魏子涵. 基于GADF-CNN的滚动轴承故障诊断方法[J]. 振动与冲击, 2021, 40(5): 247-253, 260. (Tong Yu, Pang Xin-Yu, Wei Zi-Han. A GADF-CNN based rolling bearing fault diagnosis method[J]. Vibration and Shock, 2021, 40(5): 247-253, 260.)
[15]	Huang H, Baddour N. Bearing vibration data under time-varying rotational speed conditions[J]. Data in Brief, 2018, 21: 1745-1749. DOI:10.1016/j.dib.2018.11.019