贾峰,李世豪,沈建军,关海宁
(道路施工技术与装备教育部重点实验室(长安大学),西安 710064)
摘要:
针对不同工况下轴承监测数据分布差异性导致的诊断精度下降问题,基于深度学习与迁移学习,提出一种多领域深度对抗迁移网络,用于变工况下轴承的智能诊断。将不同工况下的样本集视作属于不同的领域,在特征提取时利用深度残差网络将轴承源域的训练数据与目标域的测试数据映射到高维特征空间,提取监测数据高层抽象的特征表示；设计多领域对抗模块,以支持多故障模式的轴承样本在不同领域对抗模块上进行对抗迁移训练,保障源域与目标域数据在特征空间中的分布有效对齐；在利用源域数据训练故障分类器时引入标签平滑约束,增强故障识别的泛化能力,将源域故障诊断知识迁移到目标域数据的故障信息识别,实现变工况下的轴承智能诊断。利用变工况下的齿轮箱轴承故障数据集与电机轴承数据集对提出方法进行验证,结果表明:相比其他方法,提出的新方法考虑了轴承监测数据的多故障模式结构,更好地提取了领域不变特征,提升了变工况下轴承故障的识别精度。
关键词: 深度学习 变工况 轴承 领域对抗 迁移学习 智能诊断
DOI：10.11918/202103084
分类号:TH17
文献标识码:A
基金项目:陕西省自然科学基础研究计划(2020JQ-365)； 中国博士后科学基金(2020M683393)； 中央高校基本科研业务费专项资金(300102250302)
Multi-domain deep adversarial transfer network for intelligent diagnosis of bearings
JIA Feng,LI Shihao,SHEN Jianjun,GUAN Haining
（Key Laboratory of Road Construction Technology and Equipment（Chang′an University）, Ministry of Education, Xi′an 710064, China）
Abstract:
The bearing monitoring data under different working conditions have different distributions, which affect the accuracy of bearing intelligent diagnosis methods. Aiming at this issue, a multi-domain deep adversarial transfer network is proposed for intelligent diagnosis of bearings based on deep learning and transfer learning. The proposed method treats the datasets under different working conditions as belonging to different domains. In the method, firstly, the deep residual network is used to extract the features from source training data and target testing data. Then, multiple domain adversarial modules are designed to capture multi-mode structures from the source and target domain data, which enable fine-grained alignment of the distribution of the source domain and target domain data. Finally, the fault classifier is trained to transfer fault diagnosis knowledge of source domain to the target domain and ensure the diagnosis accuracy under variable working conditions. The proposed method is verified by using the two bearings dataset under variable working conditions. The results show that the proposed method can capture the multi-mode structures of the bearing data and extract domain invariant features, thus improving the fault diagnosis accuracy under variable working conditions compared with other related methods.
Key words: deep learning variable working condition bearing adversarial domain adaptation transfer learning intelligent diagnosis
贾峰, 李世豪, 沈建军, 关海宁. 面向轴承智能诊断的多领域深度对抗迁移网络[J]. 哈尔滨工业大学学报, 2022, 54(7): 120-127, 135. DOI: 10.11918/202103084.
JIA Feng, LI Shihao, SHEN Jianjun, GUAN Haining. Multi-domain deep adversarial transfer network for intelligent diagnosis of bearings[J]. Journal of Harbin Institute of Technology, 2022, 54(7): 120-127, 135. DOI: 10.11918/202103084.
基金项目 陕西省自然科学基础研究计划(2020JQ-365)；中国博士后科学基金(2020M683393)；中央高校基本科研业务费专项资金(300102250302) 作者简介 贾峰(1989—)，男，博士，讲师 通信作者 沈建军，sjjun7406@sina.com 文章历史 收稿日期: 2021-03-22
Abstract Full text Figures/Tables PDF
面向轴承智能诊断的多领域深度对抗迁移网络
贾峰, 李世豪, 沈建军
, 关海宁 道路施工技术与装备教育部重点实验室(长安大学)，西安 710064
收稿日期: 2021-03-22
基金项目: 陕西省自然科学基础研究计划(2020JQ-365)；中国博士后科学基金(2020M683393)；中央高校基本科研业务费专项资金(300102250302)
作者简介: 贾峰(1989—)，男，博士，讲师
通信作者: 沈建军，sjjun7406@sina.com
摘要: 针对不同工况下轴承监测数据分布差异性导致的诊断精度下降问题，基于深度学习与迁移学习，提出一种多领域深度对抗迁移网络，用于变工况下轴承的智能诊断。将不同工况下的样本集视作属于不同的领域，在特征提取时利用深度残差网络将轴承源域的训练数据与目标域的测试数据映射到高维特征空间，提取监测数据高层抽象的特征表示；设计多领域对抗模块，以支持多故障模式的轴承样本在不同领域对抗模块上进行对抗迁移训练，保障源域与目标域数据在特征空间中的分布有效对齐；在利用源域数据训练故障分类器时引入标签平滑约束，增强故障识别的泛化能力，将源域故障诊断知识迁移到目标域数据的故障信息识别，实现变工况下的轴承智能诊断。利用变工况下的齿轮箱轴承故障数据集与电机轴承数据集对提出方法进行验证，结果表明: 相比其他方法，提出的新方法考虑了轴承监测数据的多故障模式结构，更好地提取了领域不变特征，提升了变工况下轴承故障的识别精度。
关键词: 深度学习 变工况 轴承 领域对抗 迁移学习 智能诊断
Multi-domain deep adversarial transfer network for intelligent diagnosis of bearings
JIA Feng, LI Shihao, SHEN Jianjun
, GUAN Haining Key Laboratory of Road Construction Technology and Equipment(Chang'an University), Ministry of Education, Xi'an 710064, China
Abstract: The bearing monitoring data under different working conditions have different distributions, which affect the accuracy of bearing intelligent diagnosis methods. Aiming at this issue, a multi-domain deep adversarial transfer network is proposed for intelligent diagnosis of bearings based on deep learning and transfer learning. The proposed method treats the datasets under different working conditions as belonging to different domains. In the method, firstly, the deep residual network is used to extract the features from source training data and target testing data. Then, multiple domain adversarial modules are designed to capture multi-mode structures from the source and target domain data, which enable fine-grained alignment of the distribution of the source domain and target domain data. Finally, the fault classifier is trained to transfer fault diagnosis knowledge of source domain to the target domain and ensure the diagnosis accuracy under variable working conditions. The proposed method is verified by using the two bearings dataset under variable working conditions. The results show that the proposed method can capture the multi-mode structures of the bearing data and extract domain invariant features, thus improving the fault diagnosis accuracy under variable working conditions compared with other related methods.
Keywords: deep learning variable working condition bearing adversarial domain adaptation transfer learning intelligent diagnosis
随着人工智能技术的发展与海量轴承监测数据的积累，基于深度学习的智能故障诊断方法成为故障诊断与健康维护技术中的“生力军”[1-3]。该方法通过深度学习等人工智能技术建立故障诊断模型，分析表征机械大数据中隐含的故障信息，实现轴承故障特征的自动提取与健康状态的智能识别。例如：孙岩等[4]基于改进胶囊网络提出的故障诊断方法。陈淑梅等[5]提出卷积神经网络特征学习的多变量过程故障诊断模型。赵书涛等[6]提出了声振信号联合一维卷积神经网络的故障诊断方法。上述深度智能故障诊断方法取得了较好的故障识别效果，但这些方法在建立诊断模型时需要满足如下条件：具有充足、全面的训练样本，且训练样本与测试样本服从相同的数据分布。然而，轴承工况复杂多变，再加上其服役过程中不同故障样本的收集难易程度不同，对为全面获取各个工况下充足的训练样本带来极大困难[7]。而且由于不同工况下轴承监测样本的数据分布不同，部分工况样本训练得到的故障诊断模型，难以直接用于轴承在其它工况下的诊断，导致深度智能故障诊断方法在变工况下轴承的故障诊断中效果不佳。因此，研究人员逐渐引入迁移学习思想，建立迁移智能诊断方法来解决上述问题。迁移智能诊断旨在将轴承故障训练样本集中的诊断知识迁移到相似但不同的测试样本集，这些样本集被视作属于不同的领域。通常，迁移智能诊断将训练样本集属于的领域称为源域，将测试样本集属于的领域称为目标域，源域和目标域属于同一类诊断任务，但是其数据分布不同。例如：Li等[8]提出了基于知识映射的对抗迁移域自适应方法，用于不同工况下轴承的故障诊断。郭亮等[9]结合卷积神经网络和最大均值化差异方法提出了深度迁移模型，实现了不同数据域的自适应对齐。雷亚国等[10]构建领域共享的深度残差网络，实现轴承的迁移智能诊断。当前迁移智能诊断方法在用于变工况下轴承的故障诊断时，其核心思路是：将不同工况下的数据集视作属于不同的领域，然后利用最大均值化差异、对抗学习等方法将源域训练数据与目标域测试数据在特征空间中将其分布相互对齐，促使变工况数据之间的特征分布趋于相同，克服数据分布不同引起的问题，接着将源域数据训练得到的故障分类器用于目标域数据中故障信息的识别，最终实现轴承的迁移诊断。
然而现有方法存在如下问题：轴承数据具有不同故障类别模式的样本，形成了多模式的数据结构，现有方法在特征分布对齐过程中，直接通过度量源域与目标域数据的整体分布进行特征对齐，并未考虑轴承数据具有的多模式数据结构，可能导致不同故障数据之间产生错误对齐的现象，致使轴承故障识别的准确率与泛化性能欠佳。
针对上述问题，本文考虑轴承多模式数据结构特点，提出一种多领域深度对抗迁移网络，实现变工况下轴承的智能故障诊断。该方法具体内容如下：首先，在特征提取时利用深度残差网络将轴承的源域与目标域映射到高维特征空间，提取数据高层抽象的特征表示；然后，在特征对齐时设计多领域对抗模块，通过捕获源域与目标域数据中的多模式故障信息，以支持不同故障模式的样本分别在不同领域对抗模块上进行对抗迁移训练，保障源域与目标域数据在特征分布有效对齐；最后，在训练故障分类器时引入标签平滑约束，增强故障识别的泛化能力，进而将源域故障诊断知识迁移到目标域中，实现变工况下的轴承智能故障诊断。在实验中，利用轴承变工况数据集对提出方法在进行了验证，结果表明：提出方法相比传统方法获得了更高的迁移诊断精度。
1 迁移智能诊断的基础理论 1.1 问题描述迁移智能诊断通过领域自适应方法，将轴承源域训练数据蕴含的故障诊断知识，迁移到相关但不同的目标域测试数据的故障诊断中。在本文中，源域数据表示轴承某一工况下的数据，是有标签的训练样本集；目标域数据表示其他工况下的数据，是无标签的测试样本集。令{xis, yis}i=1ns表示轴承的源域样本集，其中xis表示第i个样本，yis表示该样本的健康状态标签，ns表示源域样本数量。假设源域样本的边缘概率分布为P(xs)，则源域可以表示为Ds={xs, P(xs)}。同理，令{xjt}j=1nt表示轴承的目标域样本集，其中xjt是第j个样本，nt表示样本数量。假设目标域样本边缘概率分布为P(xt)，则目标域可以表示为Dt={xt, P(xt)}。本文方法基于深度残差网络与领域对抗学习，建立迁移智能诊断方法，克服轴承在不同工况下的数据差异，提升轴承在变工况下的故障诊断精度。
1.2 深度残差网络针对深度神经网络在层数达到一定深度后产生的性能退化问题，He等[11]在卷积神经网络的基础上引入了残差学习的概念，设计了基于快捷连接的残差块，并通过残差块的堆叠，建立了深度残差网络(deep residual network，ResNet)。
残差块模型如式(1)所示：残差块模型结构如图 1所示。
$H(\boldsymbol{x})=F\left(\boldsymbol{x}, \boldsymbol{w}_{l}\right)+\boldsymbol{x}$ (1)
Fig. 1
图 1 残差块结构 Fig. 1 Residual block structure 式中：x和H(x)分别为残差块的输入和输出向量；F(x, wl) 表示残差块的映射函数；wl为残差块中第l个卷积层的权重。残差块模型结构如图 1所示，其核心思想是：若神经网络在一定深度后性能达到饱和，可以添加以残差块为主的恒等映射层，使得输出等于输入，这样可以增加网络的深度但误差不会增加，进而克服了网络性能的退化问题，打破了传统神经网络的模式与约束，为深层特征提取打下基础。因此，本文使用深度残差网络提取轴承的故障特征。
1.3 领域对抗学习迁移智能诊断的核心问题是将轴承的源域和目标域数据映射到公共特征空间，并在该空间进行分布对齐。领域对抗学习是特征分布对齐的主要方法之一，其代表工作是Ganin等[12]提出的领域对抗神经网络(domain adversarial training of neural network，DANN)。该网络借鉴了生成对抗学习的思想，设计领域鉴别器，以特征为输入，通过对抗训练，促使源域与目标域数据在特征空间中的分布对齐，进而让领域鉴别器无法正确识别特征属于源域数据或是目标域数据，最终消除了数据分布差异。
领域对抗网络主要由3部分组成：特征提取器Gf、领域鉴别器Gd和故障分类器Gy。其中，领域鉴别器主要用于区分数据特征属于源域或是目标域，特征提取器根据领域鉴别器的误差进行微调并达到混淆领域鉴别器的目的，最终实现迁移诊断。领域对抗网络的损失函数如下
$\begin{aligned}&l\left(\theta_{\mathrm{f}}, \theta_{\mathrm{y}}, \theta_{\mathrm{d}}\right)=\frac{1}{n_{\mathrm{s}}} \sum\limits_{x_{i}^{\mathrm{s}} \in D_{\mathrm{s}}} L_{\mathrm{y}}\left(G_{\mathrm{y}}\left(G_{\mathrm{f}}\left(\boldsymbol{x}_{i}^{\mathrm{s}}\right)\right), \boldsymbol{y}_{i}^{\mathrm{s}}\right)-\\&\frac{\lambda_{D}}{n} \sum\limits_{x_{m}^{D} \in\left(D_{\mathrm{s}} \cup D_{\mathrm{t}}\right)} L_{\mathrm{d}}\left(G_{\mathrm{d}}\left(G_{\mathrm{f}}\left(\boldsymbol{x}_{m}^{D}\right)\right), d_{m}\right)\end{aligned}$ (2)
式中：xmD表示源域与目标域样本并集中的第m个样本; n表示源域与目标域样本的总数量；dm表示领域标签，当其为1时表示源域，当其为0时表示目标域；θf、θd和θy分别为Gf、Gd和Gy的优化参数；Ly和Ld表示分类器损失函数和域鉴别器损失函数；λD度量了两种损失函数的权重参数。领域对抗网络通过式(3)中最大最小优化过程完成训练:
$\max \limits_{\theta_{\mathrm{d}}} \min\limits _{\theta_{\mathrm{f}}, \theta_{\mathrm{y}}} l\left(\theta_{\mathrm{f}}, \theta_{\mathrm{y}}, \theta_{\mathrm{d}}\right)$ (3)
通过训练，使特征提取器能够消除数据分布的差异，提取到源域与目标域中的域不变特征，使用源域数据训练得到的分类器可直接用于目标域数据的分类，将源域诊断知识迁移到目标域。
2 多领域深度对抗迁移智能诊断本文提出一种多领域深度对抗迁移网络，用于变工况下轴承故障的智能诊断。该网络共包括3个部分：特征提取、多领域对抗模块和故障状态识别，网络结构如图 2所示。
Fig. 2
图 2 滚动轴承多领域深度对抗迁移网络 Fig. 2 Proposed multi-domain deep adversarial transfer network for rolling bearings 2.1 特征提取在获取轴承变工况下的源域数据与目标域数据后，选择深度残差网络作为特征提取器Gf，将数据映射到共同特征空间。由于xmD为轴承源域与目标域并集中的第m个样本，其中D∈Ds∪Dt。根据式(1)，特征提取器Gf从样本xmD中提取的高层抽象特征可以表示为
$\boldsymbol{x}_{m}^{\mathrm{f}, D}=G_{\mathrm{f}}\left(\boldsymbol{x}_{m}^{D}\right)=\boldsymbol{x}_{m}^{D}+\sum\limits_{l=1}^{L} F\left(\boldsymbol{x}_{m}^{D}, \boldsymbol{w}_{l}\right)$ (4)
式中：F (·，·) 表示残差网络中第l个残差块的映射函数；wl第l个残差块中待优化参数。
2.2 多领域对抗模块在迁移智能诊断中，源域和目标域数据集中具有多种故障模式的监测数据，呈现多模式数据结构的特性[13]。现有迁移诊断方法在特征分布对齐时，只是对源域数据和目标域数据在特征空间中整体进行对齐，没有考虑故障数据内部之间的复杂多模式结构，导致故障数据之间产生错误对齐的现象，影响故障诊断的精度，甚至导致迁移诊断模型出现负迁移等现象。因此，设计多领域对抗模块，利用数据类别预测概率，为监测数据的特征分配相应的类别权重，表征数据中的多模式结构信息，进而针对不同故障数据的对抗迁移建立不同的领域对抗模块，实现轴承数据的多领域对抗迁移。
假设轴承的健康状态类别总计为K种，通过故障预测信息建立K个领域鉴别器，将源域每个样本被按概率赋到相应领域判别器判断，则在领域对抗中可以减少领域分布对齐出错的问题，进而实现多模式结构的领域对抗迁移。令Gy为故障分类器，其输出使用Softmax层，则第m个样本在每种故障状态上的预测概率可以表示为
${\widehat {\boldsymbol{P}}_m} = \left[ {\begin{array}{*{20}{c}}{\hat p_m^1}\\{\hat p_m^2}\\ \vdots \\{\hat p_m^K}\end{array}} \right] = {\boldsymbol{S}}\left( {{G_{\rm{y}}}\left( {{\boldsymbol{x}}_m^{{\rm{f}}, D}} \right)} \right) = \frac{1}{{\sum\limits_{k = 1}^K {{{\rm{e}}^{\theta _K^{\rm{T}}{G_{\rm{y}}}\left( {x_m^{{\rm{f}}, D)}} \right.}}} }}\left[ {\begin{array}{*{20}{c}}{{{\rm{e}}^{{\boldsymbol{\theta }}_1^{\rm{T}}{G_y}\left( {x_m^{{\rm{f}}, D}} \right)}}}\\{{{\rm{e}}^{{\boldsymbol{\theta }}_2^{\rm{T}}{G_y}\left( {x_m^{{\rm{f}}, D}} \right)}}}\\ \vdots \\{{{\rm{e}}^{{\boldsymbol{\theta }}_K^{\rm{T}}{G_{\rm{y}}}\left( {x_m^{{\rm{f}}, D}} \right)}}}\end{array}} \right]$ (5)
式中：xmf, D为第m个样本的特征；S (·) 表示Softmax函数；k=1, 2, …, K；
利用式(5)中轴承样本的类别预测概率，对第k个故障模式建立领域鉴别器Gdk。首先，为样本特征进行加权，使样本可以按类别概率赋到相应的领域鉴别器。则领域鉴别器Gdk输入的类别加权特征为
$\boldsymbol{x}_{m}^{\mathrm{f}, D, k}=\boldsymbol{x}_{m}^{\mathrm{f}, D} \cdot \hat{p}_{m}^{k}=\frac{\boldsymbol{x}_{m}^{\mathrm{f}, D} \cdot \mathrm{e}^{\boldsymbol{\theta}_{k}^{\mathrm{T}} G_{\mathrm{y}}\left(x_{m}^{\mathrm{f}, D}\right)}}{\sum\limits_{k=1}^{K} \mathrm{e}^{\boldsymbol{\theta}_{k}^{\mathrm{T}} G_{\mathrm{y}}\left(x_{m}^{\mathrm{f}, D}\right)}}$ (6)
然后，将故障加权特征输入进领域鉴别器Gdk，输出为领域标签。通过最大最小化领域鉴别损失函数，使得领域鉴别器无法识别出特征来源于源域数据还是目标域数据，促使特征提取器Gf能够提取不同工况下轴承数据的领域不变特征。则Gdk的优化目标函数ldk为
$l_{\mathrm{d}}^{k}=\frac{1}{n} \sum\limits_{m=1}^{n} L_{\mathrm{d}}^{k}\left(\hat{d}_{m}, d_{m}\right)=\frac{1}{n} \sum\limits_{m=1}^{n} L_{\mathrm{d}}^{k}\left(G_{\mathrm{d}}^{k}\left(x_{m}^{\mathrm{f}, D, k}\right), d_{m}\right)$ (7)
式中：Ldk表示第k个领域鉴别器的交叉熵损失函数；
在训练时，对K个领域鉴别器一同进行训练，进而得到多领域对抗模块的目标函数ld为
$l_{\mathrm{d}}=\frac{1}{K} \sum\limits_{k=1}^{K} l_{\mathrm{d}}^{k}=\frac{1}{K n} \sum\limits_{k=1}^{K} \sum\limits_{m=1}^{n} L_{\mathrm{d}}^{k}\left(G_{\mathrm{d}}^{k}\left(x_{m}^{\mathrm{f}, D, k}\right), d_{m}\right)$ (8)
通过优化式(8)，多领域深度对抗迁移网络能够依据类别预测概率，在不同领域鉴别器上对变工况下多故障模式数据进行领域分布对齐，避免领域分布对齐出错的问题。
2.3 故障状态识别在多领域深度对抗迁移网络中，使用源域数据训练故障分类器，结合领域自适应对齐结果，将源域训练得到的故障分类器用于识别目标域数据中的故障信息，最终实现轴承的迁移诊断。然而，在基于Softmax层的故障分类器训练中，目标类别的识别概率趋近于1，非目标类别的概率趋近0，导致Softmax层中目标类别对应的Logits向量值会趋于无穷大，容易造成模型的过度拟合，降低了模型的泛化能力。因此本文引入了标签平滑约束[14]，该约束旨在对分类结果加入合适的权重，增大模型的分类误差，避免模型对预测结果的过度拟合。从而提升变工况下轴承迁移诊断的准确率。
当第m个样本的特征为源域特征时，并且根据式(5)，可以得到第m个样本的故障状态预测概率
$\hat{\boldsymbol{P}}_{m}^{D_{\mathrm{s}}^{\prime}}=(1-\varepsilon) \hat{\boldsymbol{P}}_{m}^{D_{\mathrm{s}}}+\varepsilon u(k)$ (9)
式中(1-ε) 和ε分别为原预测概率
$u(k)=1 / K$ (10)
依据式(9)，得到故障类别分类器的损失函数ly，其具体形式如下
${l_{\rm{y}}} = \frac{1}{{{n_{\rm{s}}}}}\sum\limits_{m = 1}^{{n_{\rm{s}}}} {{L_{\rm{y}}}} \left( {\mathit{\boldsymbol{\widehat P}}_m^{D_{\rm{s}}^\prime }, \mathit{\boldsymbol{y}}_m^{\rm{s}}} \right)$ (11)
式中Ly为交叉熵损失函数。
2.4 多领域深度对抗迁移网络的目标函数为训练变工况下轴承智能诊断的多领域深度对抗迁移网络，综合多领域对抗模块的目标函数与故障类别分类器的目标函数，得到最终的目标函数表示为
$l\left(\boldsymbol{\theta}_{\mathrm{f}}, \left.\boldsymbol{\theta}_{\mathrm{d}}^{k}\right|_{k=1} ^{K}, \boldsymbol{\theta}_{\mathrm{y}}\right)=l_{\mathrm{y}}+\lambda l_{\mathrm{d}}$ (12)
式中：λ为平衡领域对抗与故障分类误差的正则参数；θf、θd、θy分别表示特征提取器、多领域对抗模块、轴承故障状态分类器的训练参数。综上，提出方法的流程如下：
首先，获取轴承在变工况下的监测数据，将单一工况下具有故障标签的数据作为源域数据，将其他工况下无故障标签的数据作为目标域数据。并对源域数据和目标域数据进行归一化处理。
然后，利用轴承监测数据，对多领域深度对抗迁移网络进行训练，并采用Adam优化算法，优化式(13)中的目标函数。
$\left( {{\boldsymbol{\theta }}_{\rm{f}}^*, \left. {{\boldsymbol{\theta }}_{\rm{d}}^*} \right|_{k = 1}^K, {\boldsymbol{\theta }}_{\rm{y}}^*} \right) = \arg \mathop {\min }\limits_{{{\boldsymbol{\theta }}_{\rm{f}}},{{\boldsymbol{\theta }}_{\rm{c}}}} \mathop {\max }\limits_{{\boldsymbol{\theta }}_{\rm{d}}^1 \cdots {\boldsymbol{\theta }}_{\rm{d}}^k} l\left( {{{\boldsymbol{\theta }}_{\rm{f}}}, \left. {{\boldsymbol{\theta }}_{\rm{d}}^k} \right|_{k = 1}^K, {{\boldsymbol{\theta }}_{\rm{y}}}} \right)$ (13)
最后，将训练得到的多领域深度对抗迁移网络用于变工况下轴承的故障识别。
3 实验验证分别通过两个轴承智能诊断案例的故障识别结果验证提出方法的有效性。案例1使用的轴承监测数据采集于变工况下的齿轮箱轴承故障实验，案例2中使用的轴承监测数据采集于变工况下的电机轴承故障实验。
3.1 变工况下齿轮箱轴承的故障诊断(案例1)齿轮箱轴承监测数据采集于如图 3(a)所示的故障实验台。该实验台由电机、齿轮箱、磁粉制动器等组成。实验轴承位于齿轮箱输入轴的轴承座内，将加速度传感器吸附在轴承座上方，采集轴承的监测数据，实验轴承型号为NSK 6212深沟球轴承。在实验中，模拟了该型号轴承的4种健康状态：正常状态、内圈故障、外圈故障与滚动体故障，故障通过电火花加工方式引入内圈、外圈与滚动体，故障直径为2 mm，故障深度为0.3 mm，如图 3(b)-(d)所示。
Fig. 3
图 3 齿轮箱轴承的故障实验台及轴承故障照片 Fig. 3 Test rig of gearbox bearings and bearing failure photos 在故障实验中，电机转速为600 r/min，将磁粉制动器扭矩分别设置成1、3、5 N·m，为传动系统添加不同负载，然后分别采集实验轴承在不同负载下的监测数据，数据的采样频率为5 kHz。本文中，依次将3种不同负载下的轴承故障数据定义为数据集A、B、C。每个数据集包含4种轴承健康状态，每种轴承健康状态样本为650个，单个样本的数据长度为1 044。因此，每个数据集共有2 600个样本，具体信息如表 1所示。
表 1
表 1 变工况下齿轮箱轴承数据 Tab. 1 Gearbox bearing data under variable working conditions 数据集 健康状态 负载/(N·m) 样本数量 标签 A/B/C 正常状态 1/3/5 650 1
内圈故障 1/3/5 650 2
外圈故障 1/3/5 650 3
滚动体故障 1/3/5 650 4
表 1 变工况下齿轮箱轴承数据 Tab. 1 Gearbox bearing data under variable working conditions
为验证提出方法，进行轴承迁移智能诊断实验，如表 2所示。可以看到，该案例共设计了6组实验，在每组实验任务中，箭头左侧为源域数据，箭头右边为目标域数据，如实验任务A→B中，数据集A表示源域数据，数据集B表示目标域数据。在诊断中，使用有标签的源域数据与50%无标签的目标域数据作为训练数据，使用剩余50%无标签的目标域数据作为测试数据。
表 2
表 2 变工况下齿轮箱轴承迁移智能诊断实验 Tab. 2 Intelligent diagnosis experiments of gearbox bearings under variable working conditions 实验任务 源域 目标域 训练数据 测试数据 A→B 数据集A 数据集B 有标签源域数据与50%无标签目标域数据 剩余50%无标签目标域数据
A→C 数据集A 数据集C
B→A 数据集B 数据集A
B→C 数据集B 数据集C
C→A 数据集C 数据集A
C→B 数据集C 数据集B
表 2 变工况下齿轮箱轴承迁移智能诊断实验 Tab. 2 Intelligent diagnosis experiments of gearbox bearings under variable working conditions
实验中，提出的多领域深度对抗迁移网络由3部分组成：特征提取器、多领域对抗模块和故障分类器。特征提取器使用的深度残差网络源自文献[11]中的18层残差网络，由于轴承加速度信号为一维时间序列，因此在上述残差网络上进行修正，特征提取器由3个残差块组成，每个残差块的通道数依次为64、128和256，卷积核大小为3×1，以适用于轴承的故障诊断。领域鉴别器由两层全连接层组成，使用ReLU为激活函数。故障分类器由3层全连接层组成，使用ReLU为激活函数。
训练本文提出的方法时，需要设置式(12)中的正则参数λ，该值用于平衡领域对抗与故障分类之间的误差。分别对6组实验任务进行训练，测试不同正则参数对诊断结果的影响，并对结果进行统计，结果如图 4所示。可以看到当正则参数从0.1增大到0.5时，提出方法平均诊断精度整体呈上升趋势；当正则参数从0.5增大到1.0时，平均诊断精度整体呈下降趋势。由于正则参数λ在0.5时的平均诊断精度最高，且标准差较小。因此，本文中使用0.5作为提出方法的正则参数值。
Fig. 4
图 4 不同正则参数下提出方法的诊断精度 Fig. 4 Diagnosis accuracy of proposed method under different parameters 为验证提出方法的有效性，将提出方法和4种诊断方法应用于表 2的所有实验任务中，并将方法的诊断结果进行对比。这4种诊断方法具体描述如表 3所示。诊断方法1中，使用18层的ResNet，其输入为一维时间序列，利用源域数据进行训练，目标域数据进行测试，并未使用迁移思想；诊断方法2中，利用深度域混淆(deep domain confusion，DDC)[16]实现轴承的迁移故障诊断，其思想是通过卷积网络提取源域与目标域数据的特征，使用最大均值差异法(maximum mean discrepancy，MMD)减小领域数据在特征空间中的分布差异；诊断方法3通过DANN的领域对抗思想，促使特征提取网络提取域不变特征，实现源域向目标域的迁移；诊断方法4中，通过提出的多领域深度对抗迁移网络进行轴承故障诊断，但该方法未使用标签平滑约束。
表 3
表 3 用于对比研究的不同诊断方法 Tab. 3 Comparison of different diagnosis methods 方法 方法描述 诊断方法1 基于ResNet的轴承故障诊断方法
诊断方法2 基于DDC的轴承迁移诊断方法
诊断方法3 基于DANN的轴承迁移诊断方法
诊断方法4 未使用标签平滑约束的提出方法
提出方法 基于多领域深度对抗迁移网络的诊断方法
表 3 用于对比研究的不同诊断方法 Tab. 3 Comparison of different diagnosis methods
上述方法的诊断结果如图 5所示。可以看到：诊断方法1在多个变工况诊断任务下齿轮箱轴承健康状态的识别精度为72.71%~90.81%，平均为84.20%；诊断方法2和诊断方法3由于加入了迁移诊断的思想，在多个变工况诊断任务下的精度分别为：81.72%~95.81%和84.19%~97.76%，平均精度分别达到：91.73%和92.70%，高于传统的诊断方法1；诊断方法4在特征分布对齐时，考虑了轴承监测数据的多模式结构，提升分布对齐效果，在多个变工况诊断任务中取得了98.66%~99.21%的识别精度，平均精度为99.02%，明显高于其他3种方法。提出方法在故障识别时，添加标签平滑约束，提高了泛化性能，在多个变工况诊断任务中取得了99.20%~ 99.63%的识别精度，平均精度为99.34%。综上所述，通过5种诊断方法的诊断结果对比，验证了提出方法的有效性。
Fig. 5
图 5 不同方法对变工况下齿轮箱轴承的诊断结果对比 Fig. 5 Comparison of diagnosis results of different methods for gearbox bearings under variable working conditions 为说明提出方法可以在特征空间中将变工况下轴承数据的分布对齐，以A→B实验任务数据为代表，使用t-SNE方法[17]可视化不同方法对源域与目标域数据的特征提取结果，如图 6所示。可以看到：相比于其他方法，提出方法考虑了轴承监测数据的多模式结构，在其特征空间中，相同故障的源域和目标域数据相互融合，分布趋于相似；在故障识别时，添加标签平滑约束，提高了泛化性能，使得不同故障数据相互分离，保障了故障分类的准确率。因此，提出方法能够更好地将变工况下轴承数据的分布对齐，从而提取到数据中的领域不变特征，最终获得了更高的迁移诊断精度。
Fig. 6
图 6 变工况下齿轮箱轴承数据的高层故障特征可视化 Fig. 6 Visualization of high-level fault features of gearbox bearing data under variable working conditions 3.2 变工况下电机轴承的故障诊断(案例2)实验采用的电机轴承数据来自凯斯西储大学轴承数据。由于该数据是公开数据集，可将提出方法的诊断结果、典型诊断方法的诊断结果以及在期刊论文中使用该数据集获得的诊断结果进行对比，使得验证充分、公正。该电机轴承数据中，实验轴承健康状态包括正常状态、内圈故障、外圈故障和滚动体故障，每种故障有3种故障程度：0.18、0.36和0.54 mm，分别在4种工况下(0、0.75、1.49、2.24 kW) 进行实验，采样频率为12 kHz，获取1 044长度的振动加速度信号作为样本。在本文中，依次将4种不同工况下的数据集分别定义为数据集D、E、F、和G，每个数据集包含单个工况下电机轴承10种健康状态的1 140个样本。
由于空载数据更易获得，使用空载工况下的数据集对其他工况下的数据集进行迁移，已经可以代表不同工况下轴承的迁移诊断正确率，因此电机轴承变工况下的诊断任务主要包括：空载工况下的数据集D向其他工况下的数据集进行迁移，如表 4所示。同样，在诊断中使用有标签的源域数据与50%无标签的目标域数据作为训练数据，使用剩余50%无标签的目标域数据作为测试数据。
表 4
表 4 变工况下电机轴承迁移智能诊断实验 Tab. 4 Intelligent diagnosis experiment of motor bearings under variable working conditions 实验任务 源域 目标域 训练数据 测试数据 D→E 数据集D 数据集E 源域与50% 剩余50%
D→F 数据集D 数据集F 目标域 目标域
D→G 数据集D 数据集G 数据 数据
表 4 变工况下电机轴承迁移智能诊断实验 Tab. 4 Intelligent diagnosis experiment of motor bearings under variable working conditions
首先，将提出方法与表 3中4种诊断方法进行对比，变工况下电机轴承故障识别实验结果如图 7所示。诊断方法1的识别精度为80.17%~88.94%，平均为85.81%；诊断方法2的识别精度为：91.12% ~94.81%，平均精度为92.71%；诊断方法3的识别精度为96.14%~96.66%，平均精度为96.37%；诊断方法4的识别精度为：98.87%~99.18%，平均精度为99.05%。与其他方法相比，提出方法在变工况下电机轴承的诊断任务中取得99.12%~99.64%的故障识别精度，平均精度为99.41%。可以看到，提出方法在特征分布对齐时，考虑了轴承监测数据的多模式结构，提升了分布对齐效果；在故障识别时，添加标签平滑约束，提高了泛化性能，最终取得了最高的诊断精度。
Fig. 7
图 7 变工况下电机轴承的迁移诊断结果 Fig. 7 Comparison of diagnosis results for motor bearings under variable working conditions 其次，将提出方法与使用相同数据并已公开发表论文的诊断方法进行对比，结果如表 5所示。Lu等[18]基于自编码网络与MMD，提出变工况下轴承深度领域自适应诊断方法，在电机轴承数据上取得94.73%的迁移诊断精度；Wang等[19]结合卷积神经网络和深度长短期记忆网络(LSTM)，提出了电机轴承的迁移诊断方法，获得了97.21%的平均诊断精度；Wen等[20]提出基于MMD与深度稀疏编码网络的轴承迁移诊断方法，达到了98.29%的诊断精度；赵小强等[21]改进残差神经网络，并将其用于电机轴承变工况下的智能故障诊断，精度达到96.76%；陈超等[22]通过非线性特征与传统时域特征等人工特征表征故障信息，利用改进最小二乘支持向量机(LSSVM)实现轴承的迁移诊断，其精度为98.10%。而提出方法在电机轴承变工况下的故障诊断精度达到99.41%，高于其他方法，验证了方法的有效性。
表 5
表 5 相关文献中的电机轴承诊断结果 Tab. 5 Motor bearing diagnosis results in related papers 文献 方法描述 测试精度/% [18] 自编码网络与MMD的迁移诊断 94.73
[19] 卷积网络与LSTM的迁移诊断 97.21
[20] 深度稀疏编码网络的迁移诊断 98.29
[21] 改进残差神经网络的变工况诊断 96.76
[22] 人工特征与LSSVM的迁移诊断 98.10
提出方法 多领域深度对抗迁移网络 99.41
表 5 相关文献中的电机轴承诊断结果 Tab. 5 Motor bearing diagnosis results in related papers
4 结论为了解决变工况下轴承的故障诊断问题，针对轴承监测数据的多模式结构特点，本文提出了多领域深度对抗迁移网络，用于变工况下轴承故障的智能诊断，并得出以下结论。
1) 设计了多领域对抗模块，通过捕获变工况下轴承源域与目标域数据中的多模式故障信息，以支持不同故障模式的样本分别在不同领域鉴别器上进行对抗迁移训练，保障了源域与目标域数据在特征分布的有效对齐，提高了方法的迁移诊断能力。
2) 两个故障实验表明，相对于现有方法，提出方法在变工况下的轴承迁移诊断中，能够更好地提取领域不变特征，提升了故障识别的精度。
参考文献
[1] ZHAO Rui, YAN Ruqiang, CHEN Zhenghua, et al. Deep learning and its applications to machine health monitoring[J]. Mechanical Systems and Signal Processing, 2019, 115: 220. DOI:10.1016/j.ymssp.2018.05.050
[2] 张西宁, 郭清林, 刘书语. 深度学习技术及其故障诊断应用分析与展望[J]. 西安交通大学学报, 2020, 54(12): 10.
ZHANG Xining, GUO Qinglin, LIU Shuyu. Analysis and prospect of deep learning technology and its fault diagnosis application[J]. Journal of Xi'an Jiaotong University, 2020, 54(12): 10. DOI:10.7652/xjtuxb202012001
[3] 雷亚国, 贾峰, 孔德同, 等. 大数据下机械智能故障诊断的机遇与挑战[J]. 机械工程学报, 2018, 54(5): 100.
LEI Yaguo, JIA Feng, KONG Detong, et al. Opportunities and challenges of machinery intelligent fault diagnosis in big data era[J]. Journal of Mechanical Engineering, 2018, 54(5): 100. DOI:10.3901/JME.2018.05.094
[4] 孙岩, 彭高亮. 改进胶囊网络的滚动轴承故障诊断方法[J]. 哈尔滨工业大学学报, 2021, 53(1): 25.
SUN Yan, PENG Gaoliang. Improved capsule network-method for rolling bearing fault diagnosis[J]. Journal of Harbin Institute of Technology, 2021, 53(1): 25. DOI:10.11918/202004163
[5] 陈淑梅, 余建波. 卷积神经网络多变量过程特征学习与故障诊断[J]. 哈尔滨工业大学学报, 2020, 52(7): 60.
CHEN Shumei, YU Jianbo. Feature learning and fault diagnosis in multivariate process with convolutional neural network[J]. Journal of Harbin Institute of Technology, 2020, 52(7): 60. DOI:10.11918/201906120
[6] 赵书涛, 王二旭, 陈秀新, 等. 声振信号联合1D-CNN的大型电机故障诊断方法[J]. 哈尔滨工业大学学报, 2020, 52(9): 120.
ZHAO Shutao, WANG Erxu, CHEN Xiuxin, et al. Fault diagnosis method for large motor based on sound-vibration signal combined with 1D-CNN[J]. Journal of Harbin Institute of Technology, 2020, 52(9): 120. DOI:10.11918/201901221
[7] LI Xiang, ZHANG Wei, MA Hua, et al. Deep learning-based adversarial multi-classifier optimization for cross-domain machinery fault diagnostics[J]. Journal of Manufacturing Systems, 2020, 55: 335. DOI:10.1016/j.jmsy.2020.04.017
[8] LI Qi, SHEN Changqing, CHEN Liang, et al. Knowledge mapping-based adversarial domain adaptation: a novel fault diagnosis method with high generalizability under variable working conditions[J]. Mechanical Systems and Signal Processing, 2021, 147: 107095. DOI:10.1016/j.ymssp.2020.107095
[9] 郭亮, 董勋, 高宏力, 等. 无标签数据下基于特征知识迁移的机械设备智能故障诊断[J]. 仪器仪表学报, 2019, 40(8): 60.
GUO Liang, DONG Xun, GAO Hongli, et al. Feature knowledge transfer based intelligent fault diagnosis method of machines with unlabeled data[J]. Chinese Journal of Scientific Instrument, 2019, 40(8): 60. DOI:10.19650/j.cnki.cjsi.J1905152
[10] 雷亚国, 杨彬, 杜兆钧, 等. 大数据下机械装备故障的深度迁移诊断方法[J]. 机械工程学报, 2019, 55(7): 4.
LEI Yaguo, YANG Bin, DU Zhaojun, et al. Deep transfer diagnosis method for machinery in big data era[J]. Journal of Mechanical Engineering, 2019, 55(7): 4. DOI:10.3901/JME.2019.07.001
[11] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 775. DOI: 10.1109/CVPR.2016.90
[12] GANIN Y, USTINOVA E, AJAKAN H, et al. Domain-adversarial training of neural networks[J]. Journal of Machine Learning Research, 2016, 17(1): 2097.
[13] PEI Zhongyi, CAO Zhangjie, LONG Mingshen, et al. Multi-adversarial domain adaptation[Z]. arXiv: 1809.02176, 2018
[14] MVLLER R, KORNBLITH S, HINTON G E. When does label smoothing help?[C]//Advances in Neural Information Processing Systems. La Jolla: Neural Information Processing Systems (NIPS), 2019: 4697
[15] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 2820. DOI: 10.1109/CVPR.2016.308
[16] TZENG E, HOFFMAN J, ZHANG N, et al. Deep domain confusion: Maximizing for domain invariance[Z]. arXiv: 1412.3474, 2014
[17] LAURENSV D M, HINTON G. Visualizing data using t-SNE[J]. Journal of Machine Learning Research, 2008, 9(2605): 2580.
[18] LU Weining, LIANG Bin, CHENG Yu, et al. Deep model based domain adaptation for fault diagnosis[J]. IEEE Transactions on Industrial Electronics, 2017, 64(99): 2297. DOI:10.1109/TIE.2016.2627020
[19] WANG Zheng, LIU Qingxiu, CHEN Hansi, et al. A deformable CNN-DLSTM based transfer learning method for fault diagnosis of rolling bearing under multiple working conditions[J]. International Journal of Production Research, 2020, 13. DOI:10.1080/00207543.2020.1808261
[20] WEN Long, GAO Liang, LI Xinyu. A new deep transfer learning based on sparse auto-encoder for fault diagnosis[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2019, 49(1): 137. DOI:10.1109/TSMC.2017.2754287
[21] 赵小强, 梁浩鹏. 使用改进残差神经网络的滚动轴承变工况故障诊断方法[J]. 西安交通大学学报, 2020, 54(9): 25.
ZHAO Xiaoqiang, LIANG Haopeng. Fault diagnosis method for rolling bearing under variable working conditions using improved residual neural network[J]. Journal of Xi'an Jiaotong University, 2020, 54(9): 25. DOI:10.7652/xjtuxb202009002
[22] 陈超, 沈飞, 严如强. 改进LSSVM迁移学习方法的轴承故障诊断[J]. 仪器仪表学报, 2017, 38(1): 35.
CHEN Chao, SHEN Fei, YAN Ruqiang. Enhanced least squares support vector machine-based transfer learning strategy for bearing fault diagnosis[J]. Chinese Journal of Scientific Instrument, 2017, 38(1): 35. DOI:10.19650/j.cnki.cjsi.2017.01.005
