考虑到支持向量机(Support Vector Machine,SVM)[11, 12]在小样本条件下具有良好的学习能力,能较好地实现对非线性样本数据的学习、分类.应用于电特性识别过程中具有独特优势.实际诊断时,如果电特性数据输入量数目过多,训练复杂度及过拟合度都会大大增加[12],对于复杂高维特征系统,大量的数据会影响样本训练和分类诊断的效率,并导致识别准确率下降,如何从高维状态特征中获得敏感特征成为在线识别的瓶颈之一[13].主成分分析方法(Principal Component Analysis,PCA)[14, 15]是一种新的数据分析和处理方法,倾向于局部特征的抽取,具有存储容量小、计算简单等特点,已经在图形处理、人类自然语言的处理研究中得到广泛应用.
本文提出采用PCA与加权近似支持向量机(Weighted Proximal Support Vector Machine,WPSVM)相结合的航天器电特性在线故障诊断方法.通过PCA对SVM的样本数据进行预处理,然后通过加权WPSVM的方法实现在线分类.解决在线识别过程中高维特征选取困难和计算速度较慢的问题,改善在线识别效果,仿真和实测试验均表明该方法的优越性.
1 航天器电特性在线识别方法航天器电特性在线识别问题的前提是对测试电特性信号进行平移变换之后与标准电特性进行对照,根据误差的大小,实现测量信号的在线识别.标准数据与测试数据如图 1所示.
 |
| 图 1 测试数据与标准数据Fig. 1 Test data and standard data |
| 图选项 |
测试数据与标准数据的最小化误差函数如下:
式中:Dt与Ds分别为测试数据与标准数据;W为映射变换;B为平移.采用求取范数的方式来量化误差,通过对测试数据与标准数据进行映射变换的方式获取两者之间的误差,用于识别.
PCA算法的实质是通过变换的方式实现数据降维,降低计算量,加快计算速度,避免出现过拟合.SVM分类器则是通过映射变换的方式,实现在线式识别,提高识别率.
2 PCA算法2.1 PCA算法原理流程PCA是统计学中分析数据的一种方法,其目的是通过一个特殊的向量矩阵,将数据从原来的高维空间投影到一个低维的向量空间中,并且降维后保存了数据的主要信息,从而使数据更易于处理,本文提出的时间序列PCA算法如图 2所示.
 |
| 图 2 PCA方法流程图Fig. 2 Flow chart of the PCA method |
| 图选项 |
2.2 航天器电特性识别中的PCA算法将航天器电特性数据序列中的每一段电特性表示成向量的形式:
式中:Xk=(xk,1,xk,2,…,xk,r)(1≤k≤n)为第k个样本,r为该样本的采样点数;n为总样本个数.进而得出协方差阵为
式中:X为均值向量;S为r×r的矩阵,计算S的特征值[λ1,λ2,…,λn](其中λ1≥λ2≥…≥λn)以及对应的特征向量T=[u1,u2,…,un],这些特征向量就是航天器电特性数据的正交基,特征向量所对应的特征值越大,它在重构时的贡献也越大,贡献度可以通过归一化的方式来计算,特征值λk所对应的特征向量的贡献度Pk可以量化为
因此,对那些特征值很小的特征向量可以忽略.这样可应用前N个主分量来重建模型,此处设定阈值P,前N个分量的贡献度之和大于P,即
,所以重构后的电特性数据矩阵为
3 支持向量机3.1 SVM一般原理SVM的核心思想是构建一个最大间隔的分类超平面.使两类样本分布于分类面两边,标准SVM是对线性可分的两类样本.寻找一个既能使两类样本正确分开,又保证分类间隔最大的最优分类面.对于线性可分的情况,最优超平面的求解问题归结为求解式(6)的约束优化问题.当样本非线性时,可通过核函数映射的方式将样本投影使其线性可分,常用的核函数包括多项式核函数,线性核函数以及径向基核函数.而为了使识别结果最优,将最大化超平面内训练样本间的间隔,其形式为
式中:δm为超平面间隔;xi为所获取的样本特征;yi为样本所属类别；l为总类别数量，即样本分为l类；ω和b分别为超平面的法向量与位移.
3.2 基于PCA的WPSVM[7, 8]分类器基于SVM的电特性识别分为样本训练和电特性识别两个阶段,上述过程若直接引入高维电特性数据会影响分类器的分类速度和精度.基于PCA的电特性是被通过对原始数据进行特征提取和数据降维,用降维后的样本特征训练SVM分类器.从而在在线电特性识别时,提高识别精度并且极大地提高计算速度.
同时针对航天器电特性数据蕴含噪声较多、识别率低的问题,提出采用WPSVM来解决噪声较多的问题,有效提高识别率,与标准SVM相比,WPSVM将优化问题转化为
式中:Ci为正负类分别引入不同的惩罚因子;ξi为松弛变量;d为样本数量;yi为xi的所属类别标识;si为每个训练样本引入一个可调节的权值,用以表示该样本对于某一类的贡献性大小,0≤si≤1,则si表示该样本点属于一类的可能性,而(1－si)表示该样本点属于另一类的可能性.
为求解上述最优化问题,引入Lagrange定理.将问题转化为
式中:α=(α1,α2,…，αd)为Lagrange乘子.根据Wolfe对偶的定义,就是先求L(ω,b,ξ,α)关于ω、b、ξ、α的极小值,由极值条件,得
引入δi=Cisi并求解式(9)~式(12),可得
将式(13)代入式(8)中求取对偶问题的最优解α*=(α1*,α2*,…,αd*),选择α*(α*＞0)的一个正分量,则原始问题的解可表示为
式中:K(xi,xj)表示核函数,用于将输入空间映射到相应的高维特征空间.引入不同的核函数可以实现采用不同的标准对相似性和相似程度进行估价.最终的决策函数为
4 实验数据与结果4.1 实验数据实验数据来源于航天器电子负载的典型电特性实验数据,所使用的原始数据为每一段1000个数据点的波形,如图 3所示.实验可简要概括如下:①采用基于PCA的特征提取方法对数据进行降维；②使用WPSVM分类器对测试集进行分类识别并计算准确度.总体流程如图 4所示.
 |
| 图 3 典型电特性实验数据Fig. 3 Typical electrical characteristics experimental data |
| 图选项 |
 |
| 图 4 电特性识别总体流程Fig. 4 Total flow chart of electrical characteristics identification |
| 图选项 |
4.2 使用多类WPSVM分类器的电特性识别实验WPSVM为两类分类器,在电特性识别过程中存在大量不同的电特性,只是用单一的两类分类器难以解决识别问题.因此提取多类WPSVM分类器用于在线电特性识别.多分类的指导思想为将多类问题分解为一系列WPSVM可直接求解的两类问题,基于这一系列WPSVM求解结果得出最终判别结果.分别采用一类对余类法与一对一方法进行实验对比.
一类对余类法的步骤是构造n个两类分类器(设共有n个类别),其中第i个分类器把第i类同余下的各类划分开,训练时第i个分类器取训练集中第i类为正类,其余类别点为负类进行训练.判别时,测试电特性数据分别经过n个分类器共得到n个输出值F(x)=sgn(ω*·x+b*),若只有一个+1出现,则其对应类别为测试电特性数据类别;实际情况下总是有误差的,若输出不只一个+1(不只一类声称它属于自己),或者没有一个输出为+1(即没有一个类声称它属于自己),则比较ω*·x+b*输出值,最大者对应类别为测试电特性数据的类别.
一对一方法在每两类间训练一个分类器,因此对于存在n类的电特性问题,将有n(n-1)/2个分类器.当对测试电特性数据进行分类时,每个分类器都对其类别进行判断.并为相应的类别“投上一票”,最后得票最多的类别即作为该测试电特性数据的类别.
4.3 实验结果首先,采用不同的样本数分别使用PCA特征提取方法与不使用PCA特征提取方法对同一个分类器进行训练.对运算时间进行记录,运算时间为PCA降维运算时间与分类器训练时间的总和,由表 1可以看出,通过使用PCA特征提取方法进行降维,使得计算速度明显加快.
表 1 算法所需时间对比Table 1 Comparison of time between different algorithms
| s | ||||
| 特征提取方法 | 样本数量/个 | |||
| 10 | 50 | 100 | 500 | |
| PCA降维 | 0.12292 | 0.313488 | 0.532109 | 1.020358 |
| 无PCA降维 | 1.73184 | 3.833223 | 7.583167 | 19.364252 |
表选项
利用实验数据,采用随机抽取样本的方式对改进的WPSVM算法的准确率进行计算,分别随机产生10、50、100个电特性数据样本.如图 5所示,实验表明,WPSVM较传统识别算法具有更高的准确性.其中采用一对一方法的WPSVM分类器具有最高的分类准确度.
 |
| 图 5 算法准确率对比Fig. 5 Comparison of algorithm accuracy |
| 图选项 |
之后,从真实实验数据中随机抽取100个电特性数据样本,通过使用不同的多类分类方法对WPSVM和SVM的性能进行了比较,对运算时间进行记录,运算时间为PCA降维运算时间与分类器训练时间的总和,如表 2所示.实验表明,运用一类对余类法其训练时间较一对一方法更为迅速,而WPSVM较传统SVM训练时间基本一致,再改进的基础上时间复杂度并没有增加.
表 2 训练所需时间对比Table 2 Comparison between training time
| s | ||||
| 特征提取 方法 | SVM分类器 | WPSVM分类器 | ||
| 一类对余类 | 一对一 | 一类对余类 | 一对一 | |
| PCA降维 | 15.29273 | 3.435345 | 16.43453 | 3.254353 |
| 无PCA降维 | 168.1847 | 42.67543 | 157.6424 | 45.34323 |
表选项
5 结 论本文利用数理统计的方法,提出了一种新的电特性识别解决方法.主要创新与结论有:
1) 在电特性识别过程中引入PCA特征提取方法,实现了对航天器电特性数据的降维,从而减少识别过程中的计算量,有效地提高了效率.
2) 在实现降维特征提取之后,采用WPSVM算法对电特性数据进行识别,提高了电特性识别的精度.
3) 对多种经典算法进行了比较,获得了较为完整的结论,其中WPSVM减少了计算时间,进一步增强了分类器的性能.
对于这个模型,进一步的工作包括:
1) 要解决异常或叠加事件难以识别的敏感问题.
2) 尽量减小由于数据的分散性所带来的对孤立点的敏感程度.
3) 减少人工的干预,同时又不能增加太多的计算复杂度,在不同规模的数据集上测试该方法的有效性.最终构造并实现更高性能的分类器.
致谢 感谢北京航空航天大学、西安交通大学与中国空间研究院在研究过程中的支持与帮助.
参考文献
| [1] | Steven R S. System identification technology modeling for nonintrusive load diagnostics[D].Cambridge: Massachusetts Institute of Technology, 2000. |
| Click to display the text | |
| [2] | Zadeh L A. Outline of a new approach to the analysis of complex systems and decision processes[J].IEEE Transactions on Systems, Man, and Cybernetics, 1973, 3(1): 28-44. |
| Click to display the text | |
| [3] | Chew H G, Bogner R E, Lim C C.Dual ν-support vector machine with error rate and training size biasing[C]//IEEE International Conference Acoustics Speech Signal Processing.Piscataway, NJ: IEEE Press, 2001, 2: 1269-1272. |
| Click to display the text | |
| [4] | 杜林, 刘伟明, 王有元.基于CPLD的电网过电压变频数据采集卡设计[J].高电压技术, 2008, 34(8): 1589-1593. Du L, Liu W M, Wang Y Y.Data acquisition card with variable sampling speed for monitoring overvoltage based on CPLD[J].High Voltage Engineering, 2008, 34(8): 1589-1593(in Chinese). |
| Cited By in Cnki (14) | |
| [5] | 吴昊, 肖先勇.小波能量谱和神经元网络法识别雷击与短路故障[J].高电压技术, 2007, 33(10): 189-193. Wu H, Xiao X Y.Lightning strike and fault identification by the wavelet energy spectrum and neural network method[J].High Voltage Engineering, 2007, 33(10): 189-193(in Chinese). |
| Cited By in Cnki (29) | |
| [6] | Huang J S, Negnevitsky M, Nguyen D T.A neural-fuzzy classifier for recognition of power quality disturbances[J].IEEE Transactions on Power Delivery, 2002, 17(2): 609-616. |
| Click to display the text | |
| [7] | 王钢, 李海峰, 赵建仓, 等.基于小波多尺度分析的输电线路直击雷暂态识别[J].中国电机工程学报, 2004, 24(4): 358-364. Wang G, Li H F, Zhao J C, et al.Identification of transients on transmission lines caused by direct lighting strokes based on multiresolution signal decomposition[J].Proceedings of the CSEE, 2004, 24(4): 358-364(in Chinese). |
| Cited By in Cnki (106) | |
| [8] | Chien S, Sherwood R, Tran D, et al.Using autonomy flight software to improve science return on Earth Observing One[J].Journal of Aerospace Computing, Information, and Communication, 2005, 2(4): 196-216. |
| Click to display the text | |
| [9] | 李可, 刘旺开, 王浚.专家-模糊PID在低速风洞风速控制系统中的应用[J].北京航空航天大学学报, 2007, 33(12): 1387-1390. Li K, Liu W K, Wang J.Parameters self-tuning fuzzy-PID combined with expert control on wind velocity control system of wind tunnels at home[J].?Journal of Beijing University of Aeronautics and Astronautics, 2007, 33(12): 1387-1390(in Chinese). |
| Click to display the text | |
| [10] | Li K, Liu W K, Wang J, et al.An intelligent control method for a large multi-parameter environmental simulation cabin[J].Chinese Journal of Aeronautics, 2013, 26(6): 1360-1369. |
| Click to display the text | |
| [11] | 李可, 庞丽萍, 刘旺开, 等. 环境模拟舱体的建模仿真及控制方法[J].北京航空航天大学学报, 2007, 33(5): 535-538. Li K, Pang L P, Liu W K, et al.System model simulation andcontrol method used in environmental simulation chambers[J].Journal of Beijing University of Aeronautics and Astronautics, 2007, 33(5): 535-538(in Chinese). |
| Click to display the text | |
| [12] | Huang S H, Kothamasu R, Shiralkar Y C, et al.Prediction of plastic preform temperature profile and modeling perspective[J].International Journal of Manufacturing Science and Technology, 2003, 4(2): 56-83. |
| Click to display the text | |
| [13] | 邓乃扬, 田英杰. 数据挖掘中的新方法——支持向量机[M].北京: 科学出版社, 2004: 189-193. Deng N Y, Tian Y J.A new method of data mining: SVM[M].Beijing: Science Press, 2004: 189-193(in Chinese). |
| [14] | Witten I H, Frank E.Data mining: Practical machine learning tools and techniques[M].2nd ed.San Francisco: Morgan Kaufmann, 2005: 36-39. |
| [15] | Zhu X, Ye J, Zhang X.A fixed-point nonlinear PCA algorithm for blind source separation[J].Neurocomputing, 2005, 69(1): 264-272. |
| Click to display the text |
