张永超, 李琦, 任朝晖, 周世华
东北大学 机械工程与自动化学院, 辽宁 沈阳 110819
收稿日期：2020-08-11
基金项目：中央高校基本科研业务费专项资金资助项目(N180304018)。
作者简介：张永超(1993-)，男，辽宁朝阳人，东北大学博士研究生;
任朝晖(1968-)，男，辽宁沈阳人，东北大学教授，博士生导师。

摘要：基于数据驱动方法诊断滚动轴承故障时, 不同工况下的数据特征分布差异会导致模型诊断性能严重下降.针对这一问题, 提出了基于域适应与分类器差异的滚动轴承跨域故障诊断方法.首先利用卷积神经网络对带标记的源域样本和无标记的目标域样本进行特征提取; 然后通过2个全连接分类器进行故障分类; 最后通过分步优化分类损失、域最大平均差异损失和分类器差异损失, 实现源域和目标域之间的域分布对齐, 从而实现无标记目标域样本的故障诊断.实验结果表明, 所提方法与主流的域适应方法相比具有更高故障诊断准确率, 验证了该方法的合理性和可行性.
关键词：故障诊断域适应卷积神经网络最大平均差异滚动轴承
Cross-Domain Fault Diagnosis of Rolling Bearings Using Domain Adaptation with Classifier Discrepancy
ZHANG Yong-chao, LI Qi, REN Zhao-hui, ZHOU Shi-hua
School of Mechanical Engineering & Automation, Northeastern University, Shenyang 110819, China
Corresponding author: REN Zhao-hui, professor, E-mail: zhhren_neu@126.com.

Abstract: When diagnosing rolling bearing faults based on data-driven methods, the discrepancy in data distribution under different operating conditions may result in severe degradation of model diagnosis performance.To handle this issue, a cross-domain fault diagnosis method of rolling bearing based on domain adaptation with classifier discrepancy was proposed.Firstly, the convolutional neural network was used to extract the features of the labeled source domain samples and the unlabeled target domain samples.Then, the features were classified by two fully connected classifiers.Finally, the classification loss, the maximum mean discrepancy loss and the classifier discrepancy loss were optimized step by step to align the domain distribution discrepancy between the source domain and the target domain so as to implement the fault diagnosis of unlabeled target domain samples.The experimental results showed that the proposed method has a higher fault diagnosis accuracy rate than the mainstream domain adaptation methods, which verifies its rationality and feasibility.
Key words: fault diagnosisdomain adaptationconvolutional neural networkmaximum mean discrepancyrolling bearing
滚动轴承是旋转机械的重要组成部分, 其故障可能极大地影响机械系统的整体性能或导致意外停机, 造成灾难性的后果. 因此, 针对轴承的故障预测与健康管理(prognostics health management, PHM)是必不可少的. 然而, 由于滚动轴承具有运行工况多变和运行环境恶劣的特点, 导致测试数据与训练数据的分布往往存在差异, 从而严重影响模型的泛化能力^[1-2]. 因此, 开展变工况下滚动轴承故障诊断是至关重要的^[3-4].
近年来, 随着计算机硬件性能的提升和人工智能算法的兴起, 基于数据驱动的深度学习技术被广泛应用于故障诊断领域^[5-7]. 然而, 这些研究忽略了机器工况的变化, 认为训练数据和测试数据分布是相同的, 这在现实的工业场景是不多见的. 为此, 许多基于域适应的深度学习方法被应用, 旨在解决数据分布差异问题. 文献[8]提出了一种基于预训练的卷积神经网络(convolutional neural networks, CNN)迁移学习框架, 在源域训练CNN, 通过在目标域适当微调实现目标域诊断. 文献[9]提出了一种基于最大平均差异(maximum mean discrepancy, MMD)的深度域适应故障诊断模型. 文献[10]同时最小化多层中2个域间的MMD, 提高跨域诊断性能. 文献[11]将对抗性学习作为一种正则化方法引入卷积神经网络中, 并通过实验证明了提出方法的优越性. 文献[12]在网络中嵌入了一种改进的加权转移分量分析域适应算法, 实现跨域故障诊断. 文献[13]同时考虑MMD损失和域对抗损失, 并通过实验验证了提出的方法可以准确地实现不同工况下的跨域故障诊断.
以上方法虽都实现了跨域故障诊断, 但都只实现了域的全局对齐, 在类边界附近的样本特征很容易被误分类, 从而造成诊断性能下降. 因此, 为了更好地区分类边界样本, 本文提出了基于域适应与分类器差异的滚动轴承跨域故障诊断方法, 大大提高跨域故障诊断准确率.
1 算法实现1.1 CNN网络CNN是深度学习中被广泛应用的神经网络. CNN通常由特征提取器和分类器组成, 特征提取器通常包含卷积、池化、激活函数和归一化, 分类器一般由全连接层组成.
卷积操作是使用卷积核提取输入数据的特征, 从而得到特征图, 卷积运算可以表示为

(1)

其中: f(·)表示激活函数; w_ij^l+1表示l层第i个神经元对应第l+1层第j个神经元的权重; b表示偏置.
为了有效地减少计算量, 通过最大池化操作保留重要特征信息, 其过程可用式(2)表示:

(2)

其中: a^{l(i, t)}表示l层中第i个特征图的第t个神经元; w表示核宽度; j表示池化核.
通过卷积、池化、激活函数和归一化的叠加, 建立特征提取器, 从而提取输入数据的深度特征. 然后, 把特征输入分类器得到预测结果. 假设一个类别为k的分类问题, softmax的输出为

(3)

其中, W_j和b_j分别代表j层的权重矩阵和偏置.
1.2 域适应由于不同工况下的数据分布不一致, 直接将一种工况下训练得到的分类器直接应用于其他工况, 得到的诊断结果往往是很差的. 域适应可以充分利用源域数据和目标域数据, 有效地解决训练数据和测试数据特征分布不一致的问题. 图 1是一个简单的域适应示例, 如果将源域学习的模型直接应用于目标域分类, 分类精度很低, 但是通过域适应学习可以有效地对目标域的样本进行分类. 因此, 学习域不变特征是实现不同工况下故障诊断的关键步骤.
图 1(Fig. 1)

图 1 一个简单的域适应示例Fig.1 A simple example of domain adaptation

域适应学习主要通过强大的深度神经网络来减小域之间的差异, 从而实现域不变特征. MMD是域适应学习中一种被广泛应用的距离度量准则. MMD主要用来度量两个不同但相关的分布的距离. 两个分布的MMD被定义为

(4)

2 提出的网络2.1 问题描述本文研究了不同工况下轴承故障诊断问题, 可以获得标签数据的工况被称作源域, 需要诊断的工况被称作目标域. 用D^s={x_i^s, y_i^s}_i=1^n_s表示带标记的源域样本, 其中x_i^s定义样本特征, y_i^s定义相应的标签, n_s表示样本数量. 用D^t={D_train^t, D_test^t}表示不带标记的目标域样本, D_train^t定义目标域训练样本, D_test^t定义目标域测试样本. 本文旨在学习一个使用D^s和D_train^t训练的分类器模型, 可以准确地实现D_test^t的故障诊断.
2.2 网络结构图 2给出了所提方法的架构, 基本网络由特征提取器G和2个分类器(C1和C2)构成. G包含多层卷积块和全连接块. 每个卷积块包括卷积、池化、激活函数和归一化, 其中激活函数采用线性整流函数(rectified linear unit, ReLU). 每个全连接块包含线性变换、ReLU和Dropout. C1和C2由一层全连接分类器构成. 源域数据和目标域数据同时被输入到特征提取器和两个相同的分类器得到预测输出.
图 2(Fig. 2)

图 2 提出方法的架构Fig.2 Architecture of the proposed method

2.3 优化对象为了尽可能正确地分类不同健康状态数据, 首先要确保模型可以在源域数据得到正确的分类. 因此, 本文采用交叉熵损失作为损失函数, 2个分类器的交叉熵损失为

(5)

其中, k表示健康状态数.
在本研究中, 特征提取器、分类器C1和分类器C2的参数分别用θ_G, θ_C1和θ_C2表示. 通过使L_c最小化可以获得最准确的预测结果和最优的网络参数, 其过程可以表示为

(6)

然后, 为了实现域对齐, MMD被用作两个域之间分布差异的度量函数. 在输入数据经过特征提取器G之后得到的源域特征和目标域特征间引入MMD损失, 其损失可以表示为

(7)

其中: x^s和x^t分别表示源域特征和目标域特征; N表示特征个数.
通过使L_mmd最小化, 特征提取器可以学习源域和目标域的域不变特征, 其最优的参数可以表示为

(8)

单独实现域的全局对齐, 虽然可以在很大程度上提高分类的准确率, 但是由于域混淆的影响, 使在靠近类边界附近的样本特征产生很多的误分类. 因此, 本文在域对齐的基础上, 考虑了分类器差异损失. 如图 2所示, 不同的初始化参数, 在正确分类源域的同时, 可以得到不同的目标域预测标签. 直观上, 靠近类边界的目标域样本更容易得到不同的预测结果. 因此, 在分类器中通过使目标域的预测结果尽可能的不一致, 可以帮助网络检测目标域数据在类边界附近的特征分布. 相反, 特征提取器的目的是使2个分类器的结果预测更一致, 旨在更好地对齐源域类和目标域类. 具体来说, 用C1和C2来构造一个差异鉴别器, 将它们对目标域样本的预测之间的差异的L1范数作为差异损失:

(9)

特征提取器与2个不同的分类器之间的博弈过程可以通过对抗训练的方式达到一个平衡点. 其对抗训练可以表示为

(10)

(11)

在这种情况下, 方程(10)和(11)的参数不能被直接优化, 因为-L_dis被特征提取器最大化, 同时被分类器最小化. 为了解决这个问题, 引入了梯度反转层(gradient reversal layer, GRL). 如图 2所示, GRL作用于网络的反向传播过程, 当梯度通过GRL后, 梯度符号被反转^[14]. 该方法巧妙地解决了最大梯度和最小梯度不能同时训练的问题. 该方法在特征提取器和分类器之间引入GRL, 具体地说, GRL可以表示为一个函数R(x):

(12)

(13)

其中: I表示单位矩阵; λ表示惩罚系数, 在本文中λ=1. 这样, 方程(10)和(11)可以表示为

(14)

2.4 训练过程所提方法的训练和测试过程如图 3所示. 训练过程分两步, 首先训练方程(6)和(8), 然后训练方程(14). 通过这两步不断迭代, 使网络获得最优的参数. 最后, 利用训练好的网络对测试数据进行分类, 得到诊断结果.
图 3(Fig. 3)

图 3 训练和测试过程的流程Fig.3 Flowchart of the training and test process

3 实验验证3.1 实验描述为验证提出方法的有效性, 搭建如图 4所示的轴承故障实验台. 采用滚动轴承作为实验轴承. 在实验中模拟了5种轴承健康状态, 即正常(normal, N)、内圈故障(inner-race fault, IF)、外圈故障(outer-race fault, OF)、滚动体故障(ball fault, BF)、外圈和滚动体混合故障(compound of outer-race fault and ball fault, OF_BF), 其中IF，OF和BF如图 4所示. 加速度传感器安装在轴承座上, 用于收集振动信号, 采样频率为20 kHz, 采样时间为220 s. 实验分别采集了转速为600, 1 200, 1 800 r/min的5种健康状态下的数据. 因此, 本实验研究了三种工况下的6个域适应任务, 如表 1所示.
图 4(Fig. 4)

图 4 轴承试验台和三种轴承故障Fig.4 Bearing test-rig and three bearing faults

表 1(Table 1)

表 1 6个域适应任务Table 1 Six tasks of domain adaptation 任务 1 2 3 4 5 6 源域/(r·min-1) 600 600 1 200 1 200 1 800 1 800 目标域/(r·min-1) 1 200 1 800 600 1 800 600 1 200

表 1 6个域适应任务 Table 1 Six tasks of domain adaptation

3.2 网络结构和参数该方法的网络结构和参数如表 2所示. 每个卷积操作后接ReLU和归一化操作, 每个全连接层还包括ReLU和Dropout, 其中Dropout的作用是防止网络过拟合, 在本实验中Dropout为0.5. 在本实验中, 样本为一维数据, 长度为1 024. 训练样本个数为每种健康状态400个样本, 测试样本个数为每种健康状态200个样本. 在网络训练中, 用随机梯度下降方法(stochastic gradient descent, SGD)对优化目标进行训练, 其中动量为0.9. 训练的Epoch设置为400, 训练样本的批量大小设置为50. 初始学习率设为0.1, 每100个Epoch后, 学习率降低到当前值的10%. 每个任务执行5次, 其平均值作为最终的诊断准确率.
表 2(Table 2)

表 2 网络结构和参数Table 2 Network structure and parameters 模块 网络层 核大小/步长 核数目 补零 输出尺寸(度×深) 卷积1 9×1/1×1 4 是 1 018×4 池化l 2×1/2×1 4 否 509×4 卷积2 9×1/1×1 8 是 503×8 池化2 2×1/2×1 8 否 251×8 卷积3 9×1/1×1 16 是 245×16 池化3 2×1/2×1 16 否 122×16 G 卷积4 9×1/1×1 32 是 116×32 池化4 2×1/2×1 32 否 58×32 卷积5 6×1/1×1 64 是 55×64 池化5 2×1/2×1 64 否 27×64 平铺 — — — 1 728×1 全连接 256 1 — 256×1 全连接 128 1 — 128×1 C1 全连接 5 1 — 5×1 C2 全连接 5 1 — 5×1

表 2 网络结构和参数 Table 2 Network structure and parameters

3.3 对比方法为更好验证所提出方法的诊断性能, 选择以下3种方法进行对比分析. 这3种对比方法的基本网络与提出方法的基本网络相同.
1) 没有域适应方法(WDA). 只简单使用源域样本训练网络, 然后测试目标域数据.
2) 基于域对抗网络的域适应方法(DAN). 在该方法中, 在特征提取器后接域分类器, 其目的是通过域分类器混淆源域和目标域特征, 从而实现域适应.
3) 基于MMD的域适应方法(MMD). 在该方法中, 只加入MMD损失, 没有分类器差异损失.
3.4 实验结果提出的方法和3种对比方法在不同域适应任务下诊断结果的直方图如图 5所示. 由图可知, 提出方法在所有的任务中都取得最好的诊断结果, 测试准确率明显高于常用的域适应方法. 其中, WDA, DAN, MMD和提出的方法在6个域适应任务下的平均故障诊断准确率分别为45.8%, 74.5%, 69.7%和93.4%. 表 3给出了所有方法在5次实验中的平均计算时间, 可以看出, 提出的方法与常用域适应方法的计算时间相差不多.
图 5(Fig. 5)

图 5 四种方法在不同域适应任务下的诊断结果Fig.5 Diagnostic results of four methods under different domain adaptation tasks

表 3(Table 3)

表 3 所有方法的平均计算时间Table 3 Average run time of all methods 方法 WDA DAN MMD 提出的方法 计算时间/s 350 720 699 738

表 3 所有方法的平均计算时间 Table 3 Average run time of all methods

为了更好地判断域适应效果, 采用t-SNE(t-distributed stochastic neighbor embedding)^[15]技术把网络提取的源域和目标域训练数据的输出特征映射成二维特征并进行可视化. 以第1个域适应任务作为例子, 其训练过程可视化结果如图 6所示.可以看出，训练过程中各类别实现很好的聚类，并且通过域适应学习, 网络可以很好地对齐源域和目标域训练数据的特征. 这说明提出的方法可以准确地实现无监督跨域故障诊断.
图 6(Fig. 6)

图 6 训练数据的特征可视化Fig.6 Feature visualization of training data (a)—源域；(b)—目标域；(c)—源域和目标域混合.

同样地, 为了更好地体现各种诊断方法的诊断效果, 第1个域适应任务的4种方法测试数据特征的可视化结果见图 7. 可以看出, 在WDA方法中, N, IF, BF和OF四类健康状态的特征存在很多重叠, 说明这四种状态存在很多误分类; 在DAN和MMD方法中, OF和IF的特征存在重叠; 然而, 在所提的方法中5种健康状态的数据都很好地聚在一起, 而且不同健康状态的数据都清晰地分离开, 这说明该方法可以有效地提取目标域数据的差异特征.
图 7(Fig. 7)

图 7 不同方法测试数据的特征可视化Fig.7 Feature visualization of testing data of different methods (a) —WDA; (b)—DAN; (c)—MMD; (d)—提出的方法.

4 结论本文针对旋转机械多变工况导致诊断模型泛化能力下降的问题, 提出了基于域适应与分类器差异的滚动轴承跨域故障诊断方法. 该方法可以直接使用原始信号作为输入, 实现了端到端的诊断; 在模型训练过程中, 该方法不需要预先知道目标域的标签, 实现了无监督域适应; 在跨域故障诊断实验中, 和典型的WDA, DAN和MMD方法对比, 该方法的平均诊断准确率分别提高47.6%, 18.9%和23.7%, 实现了准确的跨域故障诊断.总而言之, 本文提出的方法可以有效地实现轴承的跨域故障诊断, 提高了跨域诊断模型在实际工业场景中应用的可行性.
参考文献

[1]	Li X, Jia X D, Zhang W, et al. Intelligent cross-machine fault diagnosis approach with deep auto-encoder and domain adaptation[J]. Neurocomputing, 2020, 383: 235-247. DOI:10.1016/j.neucom.2019.12.033
[2]	Yang B, Lei Y G, Jia F, et al. An intelligent fault diagnosis approach based on transfer learning from laboratory bearings to locomotive bearings[J]. Mechanical Systems and Signal Processing, 2019, 122: 692-706. DOI:10.1016/j.ymssp.2018.12.051
[3]	袁壮, 董瑞, 张来斌, 等. 深度领域自适应及其在跨工况故障诊断中的应用[J]. 振动与冲击, 2020, 39(12): 281-288. (Yuan Zhuang, Dong Rui, Zhang Lai-bin, et al. Deep domain adaptation and its application in fault diagnosis across working conditions[J]. Journal of Vibration and Shock, 2020, 39(12): 281-288.)
[4]	赵小强, 张青青. 改进Alexnet的滚动轴承变工况故障诊断方法[J]. 振动, 测试与诊断, 2020, 40(3): 472-480. (Zhao Xiao-qiang, Zhang Qing-qing. Improved Alexnet based fault diagnosis method for rolling bearing under variable conditions[J]. Journal of Vibration, Measurement & Diagnosis, 2020, 40(3): 472-480.)
[5]	Shao H D, Jiang H K, Lin Y, et al. A novel method for intelligent fault diagnosis of rolling bearings using ensemble deep auto-encoders[J]. Mechanical Systems and Signal Processing, 2018, 102: 278-297. DOI:10.1016/j.ymssp.2017.09.026
[6]	李嘉琳, 何巍华, 曲永志. PSO优化深度神经网络诊断齿轮早期点蚀故障[J]. 东北大学学报(自然科学版), 2019, 40(7): 974-979. (Li Jia-lin, He Wei-hua, Qu Yong-zhi. Diagnosis of gear early pitting faults using PSO optimized deep neural network[J]. Journal of Northeastern University (Natural Science), 2019, 40(7): 974-979.)
[7]	Glowacz A, Glowacz W, Glowacz Z, et al. Early fault diagnosis of bearing and stator faults of the single-phase induction motor using acoustic signals[J]. Measurement, 2018, 113: 1-9.
[8]	Han T, Liu C, Yang W G, et al. Learning transferable features in deep convolutional neural networks for diagnosing unseen machine conditions[J]. ISA Transactions, 2019, 93: 341-353. DOI:10.1016/j.isatra.2019.03.017
[9]	Lu W N, Liang B, Cheng Y, et al. Deep model based domain adaptation for fault diagnosis[J]. IEEE Transactions on Industrial Electronics, 2016, 64: 2296-2305.
[10]	Li X, Zhang W, Ding Q S, et al. Multi-layer domain adaptation method for rolling bearing fault diagnosis[J]. Signal Process, 2019, 157: 180-197. DOI:10.1016/j.sigpro.2018.12.005
[11]	Han T, Liu C, Yang W G, et al. A novel adversarial learning framework in deep convolutional neural network for intelligent diagnosis of mechanical faults[J]. Knowledge-Based Systems, 2019, 165: 474-487. DOI:10.1016/j.knosys.2018.12.019
[12]	Ma P, Zhang H L, Fan W H, et al. A diagnosis framework based on domain adaptation for bearing fault diagnosis across diverse domains[J]. ISA Transactions, 2020, 99: 465-478. DOI:10.1016/j.isatra.2019.08.040
[13]	Zhang Y C, Ren Z H, Zhou S H. A new deep convolutional domain adaptation network for bearing fault diagnosis under different working conditions[J]. Shock and Vibration, 2020, 2020: 1-14.
[14]	Ganin Y, Lempitsky V.Unsupervised domain adaptation by backpropagation[C]//International Conference on Machine Learning.New York, 2015: 1180-1189.
[15]	Maaten L, Hinton G. Visualizing data using t-SNE[J]. Journal of Machine Learning Research, 2008, 9: 2579-2605.