王健, 孙志礼, 于震梁, 柴小冬
东北大学 机械工程与自动化学院， 辽宁 沈阳 110819
收稿日期: 2015-04-28
基金项目: 国家科技重大专项(2013ZX04011-011).
作者简介: 王健（1988-），男，辽宁锦州人，东北大学博士研究生;
孙志礼(1957-)，男，山东巨野人，东北大学教授，博士生导师。

摘要: 为提高机械零件剩余寿命估计精度，提出了一种基于支持向量机(support vector machine，SVM)的剩余寿命区间估计模型.简要介绍SVM的线性及非线性理论，分析SVM输入变量与输出变量间的统计关系，将机械零件性能退化指标和剩余寿命分别作为SVM输入变量及输出变量.假设输入变量与残差相互独立且残差分布类型已知，采用极大似然法估计残差的分布参数，在此基础上推导一定置信水平下SVM输出变量置信区间.将均方误差作为SVM预测误差的衡量指标，应用变步长网格搜索法确定SVM参数.通过实例说明所提模型能够准确对机械零件剩余寿命进行区间估计，具有较强的工程应用价值及通用性.
关键词：剩余寿命支持向量机区间估计机械零件置信区间均方误差
Remaining Useful Life Interval Estimation for Machine Parts Based on SVM
WANG Jian, SUN Zhi-li, YU Zhen-liang, CHAI Xiao-dong
School of Mechanical Engineering&Automation, Northeastern University, Shenyang 110819, China
Corresponding author: WANG Jian, E-mail:jianwang8805@163.com
Abstract: To improve the accuracy of remaining useful life estimation for machine parts, an interval estimation model was proposed based on the SVM (support vector machine). The linear theory and nonlinearity theory of SVM were briefly introduced, and the correlation between input variable and output variable was analyzed. Degraded index and remaining useful life of machine parts were treated as input variable and output variable, correspondingly. It was assumed that input variable and residual error were independent and the residual error’s distribution pattern was known. Distribution parameters of residual error were estimated by means of the MLE (maximum likelihood estimation). Then the confidence interval of SVM output variable was obtained under a certain confidence level. The MSE (mean squared error) was used to measure the prediction of SVM. The SVM parameters were gotten by the means of variable step size grid search. A numerical example was presented to show that the proposed model can estimate the remaining useful life confidence interval precisely with the engineering application values and generality.
Key Words: remaining useful lifeSVM(support vector machine)interval estimationmachine parts； confidence interval； MSE (mean squared error)
重要机械零件的剩余寿命预测，特别是对航空航天、大型生产线、船舶、铁路公路运输等重要设备尤为重要.精准的剩余寿命预测为制定适当的预防性维修和更换策略提供保证，既能保证机械设备在高可靠性条件下运行，又能避免由于过频维护造成的浪费.因此机械零件(如齿轮、轴承)的剩余寿命预测越来越得到学者关注.
随着材料制造工艺的进步，重要机械零件往往寿命较长且昂贵，大批量做全寿命试验收集大量状态数据并不现实.在少量试验或使用数据条件下建立适当模型准确预测在役零件剩余寿命是当前研究重点.针对各类设备的剩余寿命预测模型^[1-2]大致可分为：专家系统^[3]、物理模型、统计和随机过程模型^[4-5]、机器学习算法模型^[6-7]等.以SVM为代表的机器学习算法模型^[8-10]对研究对象退化轨迹适应性强，具有很好的鲁棒性，得到广泛应用.
SVM在小子样预测等问题上表现突出，在时间序列预测、结构可靠性分析、回归分析、经济金融等领域有广泛的应用，机械零件剩余寿命预测研究中也被较频繁使用.Emmanuel等^[6]通过分析轴承工作过程中振动信号提取退化信息，建立基于SVM的轴承剩余寿命点预测模型；Loutas等^[7]，Caesarendraa等^[8]以非线性退化零件或系统为研究对象，将贝叶斯方法应用到SVM建模过程中.
以上文献主要针对剩余寿命点估计取得了很好的效果.在基于可靠性的维护策略制定中，研究对象寿命概率分布情况或其置信区间对维护策略制定也至关重要.
本文在假定机械零件退化指标及对应阀值已知情况下，分别将零件退化指标和与其对应的剩余寿命作为SVM输入变量和输出变量，使用零件全寿命退化数据建立基于SVM机械零件剩余寿命预测模型，并根据SVM概率估计理论推导剩余寿命一定置信水平下的置信区间.
1 剩余寿命机械零件从开始工作到失效大致要经历3个过程：稳定运行，性能持续退化，最终失效.图 1为某双列滚动轴承整个寿命期间振动均方根值(root mean square,RMS)变化情况，在稳定运行阶段其RMS没有明显变化，初始损伤后其退化现象随着运行时间较明显加剧，当退化量达到某一数值时最终失效.机械零件在初始损伤前零件退化不明显，较难建立数学模型进行分析，因此主要研究初始损伤之后其剩余寿命分布情况.
图 1(Fig. 1)

图 1 ZA-2115双列滚动轴承RMS曲线Fig.1 RMS curves of a ZA-2115 double row bearings

设某机械零件退化程度的指标为x(t)，t为累计运行时间.不失一般性假设，随着工作时间t的增长，x(t)呈现上升“趋势”，这是由于退化特征提取准确性、工作环境、传感器精度、其他零件等因素影响x(t)不一定表现严格单调.当x(t)等于或大于预设阀值x₀时认为该零件已无法满足正常工作要求，应立即更换或进行必要维修.则t时刻的剩余寿命可定义为
其中，inf{}表示下确界.
2 支持向量机模型2.1 支持向量机支持向量机是建立在统计学习理论基础上以结构风险最小化为原则的机器学习算法，在处理小样本问题中表现出良好性质.样本集为
式中：x_n为输入变量，可以为标量或l(l>1)维向量；y_n为与x_n对应的预期输出值，一般为标量，回归函数为

(1)

式中：w为与x维数相同的权值向量；b∈R；w·x表示w与x的点积.w和b需通过求解如下优化问题得到：
C和ε分别为惩罚因子和不敏感因子，ξ_n和ξ^*_n为松弛因子.根据Karush-Kuhn-Tucker条件，以上问题可转化为凸二次优化问题.

(2)

当输入变量x与y之间是非线性关系时，通过引入核函数将x映入高维空间，将低维空间非线性问题转化为高维空间的线性问题.此时二次优化问题只需将式(2)中的x_n·x换成K(x_n,x)，回归函数为

(3)

式中，K(·,·)是满足Mercer条件的核函数，核函数有多种形式，常见的核函数有线性核函数、多项式核函数、Gauss径向基核函数、sigmoid核函数，本文采用Gauss径向基核函数，其形式为
式中，γ是核函数参数.
2.2 输出变量区间估计根据SVM理论，输入x与输出y之间可以表示为
其中，ζ为随机变量，为了得到输出y的置信区间，假设ζ与输入x相互独立.理论上这种假设与实际情况不相符，对于固定的$\hat{f}\left( x \right)$ 输出y的残差ζ必然与x存在很大程度的相关性，当假设ζ与x相互独立时，所计算得到的y的置信区间在实际中并不会产生很大误差^[10]，能够满足工程需要.基于独立性假设的理论推导复杂程度及计算复杂度有极大简化.
设通常情况ζ服从零均值的高斯分布或拉普拉斯分布^[10]，更多情况下ζ更好地服从拉普拉斯分布.参数为σ的拉普拉斯分布密度函数为
以ζ_n(n=1,…,N)为样本采用极大似然法估计σ，极大似然函数为
令，得
令，则
所以SVM输出变量y的置信度为p₀的置信区间为
若t_n(n=1,2,…,N)为传感器采集数据时间点，各时间点对应的机械零件的退化指标为x(t_n),剩余寿命为y(t_n)，若将x(t_n)作为输入变量，将y(t_n)作为输出变量，即可训练SVM得到x与y的对应关系模型，进而使用该模型实现机械零件剩余寿命区间估计.
3 参数选择核函数参数γ和惩罚因子C是影响SVM训练效率和推广能力的核心参数，因此γ和C的选择直接影响剩余寿命预测精度.SVM模型推广能力和预测精度是通过其在验证集上的预测表现来衡量的.
3.1 均方误差及交叉验证法设验证集T为
SVM模型推广能力及预测精度可由其在验证集T上的预测均方误差(mean squared error，MSE)度量，
交叉验证法(cross validation，CV)可用来验证训练所得SVM模型推广能力及预测精度.K-fold CV的基本思想是将训练集S随机分成K组(一般采用近似均分方式)，对于同一组γ和C值，K个子集分别做一次验证集，其余的K-1个子集的并集做训练集，得到K个模型及对应的MSE_k，取K个MSE值的均值作为与γ和C对应SVM模型的推广能力及预测精度度量.
3.2 变步长网格搜索算法目前还没有系统准确地确定最佳γ和C的方法，被比较广泛使用的算法有蚁群算法、粒子群算法、网格搜索算法等智能或近似算法.由于蚁群和粒子群算法伴随往往以较大的计算量为代价才能确定较好的(γ,C)，且不能保证算法每次搜索都收敛于同一点，网格搜索算法在处理二维优化问题时稳定性较高，计算量处于可接受范围，本文采用变步长网格搜索算法确定最佳(γ,C)，保证在不明显增加计算量情况下搜索到较精确$\left( \hat{\gamma },\hat{C} \right)$.
变步长网格搜索步骤：
1) 初步确定γ和C的取值范围.为保证最后搜索到最优(γ,C)，初始范围应适当大些，如γ和C范围都是[10^-15,10¹⁵].
2) 设定搜索步长.在双对数直角坐标系中设定搜索步长，如0.1.这样就在双对数直角坐标系中生成了一个二维网格，每个交叉点都对应一组(γ,C)取值，对每一组(γ,C)采用交叉验证法计算其对应的MSE值.在双对数直角坐标系中绘制等高线.
3) 缩小γ和C范围.由步骤2)中等高线缩小搜索范围，在双对数直角坐标系中缩小步长，重复步骤2)直至γ和C的范围满足预先设定的精度要求.
4 实例本文采用IMS数据库中滚动轴承全寿命试验数据验证所提出基于SVM剩余寿命区间估计模型.轴承的全寿命试验分3组进行，每组4个轴承.试验转速为2000r/min，加载在轴承径向载荷为27kN，采用强制润滑.轴承型号为美国莱克斯诺工业集团ZA-2115双列滚动轴承，加速度传感器安装在轴承座上.每10min采集一次轴承振动信号，每次采集时长为1s，收集20480个加速度值.
针对轴承振动信号退化特征提取方法主要有时域分析、频域分析和时频域分析，结合PAC及ISOMAP等线性或非线性降维方法得到最终的能够反映轴承工作状态的特征量.本文借鉴文献^[9]选用相对均方根值(RRMS)作为轴承退化特征.经过平滑处理^[9]后第二组试验2，3，4号轴承RRMS如图 2所示.定义RRMS值1.05和1.5分别为轴承衰退期起始阀值和最终失效阀值，当RRMS处于1.05和1.5之间时认为轴承处于衰退期.2，3，4号轴承的起始衰退时间分别为100，103和118h.3个轴承起始衰退后RRMS与剩余寿命对应集分别为S₂,S₃,S₄.
图 2(Fig. 2)

图 2 RRMS曲线Fig.2 Curves of relative root mean square

设ε=0.5，初始γ和C范围都是[10^-8,10⁸].将S₂∪S₃作为训练集，采用3.2中改进步长网格搜索确定(γ,C)，得到最佳(γ,C)为
将$\left( {{{\hat{\gamma }}}_{1}},{{{\hat{C}}}_{1}} \right)$及S₂∪S₃代入SVM模型中进行训练得到回归模型1，并对σ做极大似然估计：
用S₄作为验证集预测4号轴承剩余寿命，并得到其置信度p₀=0.9的置信区间，如图 3a所示.分别以S₂∪S₄和S₃∪S₄作为训练集计算$\left( {{{\hat{\gamma }}}_{2}},{{{\hat{C}}}_{2}} \right)$和$\left( {{{\hat{\gamma }}}_{3}},{{{\hat{C}}}_{3}} \right)$，进而得到回归模型2和回归模型3并估计σ₂,σ₃，再分别以S₃和S₂为验证集得到置信度p₀=0.9的剩余寿命区间估计结果，如图 3b和3c所示.表 1为3个回归模型参数估计结果.
图 3(Fig. 3)

图 3 区间估计结果与真实值比较Fig.3 The comparisons between interval estimations and true values (a)—4号轴承； (b)—3号轴承; (c)—2号轴承.

表 1(Table 1)

表 1 γ,C,σ估计值Table 1 Estimations of γ,C and σ 参数 模型1 模型2 模型3 ${\hat{\gamma }}$ 1.6466 1.4564 1.5486 ${\hat{C}}$ 597.86 4265.1 1596.9 ${\hat{\sigma }}$ 9.4073 7.3349 8.8307

表 1 γ,C,σ估计值 Table 1 Estimations of γ,C and σ

由图 3可知，基于SVM得到的轴承剩余寿命预测均值与准确值可能存在较大偏差(见图 3b)，导致剩余寿命真实值处在置信区间上下限附近甚至不在置信区间内.导致预测均值误差较大的主要原因是：①轴承的制造加工误差.滚动轴承特别是双列滚动轴承对制造加工误差极敏感，导致其退化轨迹存在较大差异(如图 2所示)；②由于目前还没有准确计算SVM模型参数方法，本文采用应用较广泛的交叉验证法计算SVM模型均方误差作为确定模型精度指标.该方法具有一定随机性，因而不能在理论上保证所确定的参数为全局最佳.
5 结论基于支持向量机的剩余寿命点估计能够较准确地预测零件剩余寿命，但当全寿命状态数据较少且零件对制造加工误差敏感时预测结果并不稳定，有时预测值与真实剩余寿命有较大偏差.预测精度随真实剩余寿命变化有明显波动，剩余寿命估计曲线不光滑.本文提出的剩余寿命区间估计方法能够准确估计零件剩余寿命所在置信区间，有效弥补了单纯点估计的不稳定性的不足，能够为制定合理的维修或更换计划提供参考.
参考文献

[1]	Sikorska J Z, Hodkiewicz M, Ma L. Prognostic modelling options for remaining useful life estimation by industry[J].Mechanical Systems and Signal Processing, 2011, 25(5): 1803–1836.(0)
[2]	Si X S, Wang W B, Hu C H, et al. Remaining useful life estimation—a review on the statistical data driven approaches[J].European Journal of Operational Research, 2011, 213(1): 1–14.(0)
[3]	Sanders D A, Jasper G J, Alexander G. Improving ability of tele-operators to complete progressively more difficult mobile robot paths using simple expert systems and ultrasonic sensors[J].Industrial Robot, 2010, 37(5): 431–440.(0)
[4]	Si X S, Wang W B, Hu C H, et al. A Wiener-process-based degradation model with a recursive filter algorithm for remaining useful life estimation[J].Mechanical Systems and Signal Processing, 2013, 35(1/2): 219–237.(0)
[5]	Su C, Shen J Y. A novel multi-hidden semi-Markov model for degradation state identification and remaining useful life estimation[J].Quality and Reliability Engineering International, 2013, 29(8): 1181–1192.(0)
[6]	Emmanuel R, Rafael G. Remaining useful life estimation by classification of predictions based on a neuro-fuzzy system and theory of belief functions[J].IEEE Transactions on Reliability, 2014, 63(2): 555–566.(0)
[7]	Loutas T H, Roulias D, Georgoulas G, et al. Remaining useful life estimation in rolling bearings utilizing data-driven probabilistic E-support vectors regression[J].IEEE Transactions on Reliability, 2013, 62(2): 821–832.(0)
[8]	Caesarendraa W, Widodo A, Yang B S. Application of relevance vector machine and logistic regression for machine degradation assessment[J].Mechanical Systems and Signal Processing, 2010, 24(4): 1161–1171.(0)
[9]	申中杰, 陈雪峰, 何正嘉, 等. 基于相对特征和多变量支持向量机的滚动轴承剩余寿命[J].机械工程学报, 2013, 49(2): 183–189. ( Shen Zhong-jie, Chen Xue-feng, He Zheng-jia, et al. Remaining life predictions of rolling bearing based on relative features and multivariable support vector machine[J].Journal of Mechanical Engineering, 2013, 49(2): 183–189.)(0)
[10]	Lin C J,Weng R C.Simple probabilistic predictions for support vector regression[R].Taipei:National Taiwan University,2004.(0)