早期用于时间序列预测的支持向量机[2-3]、神经网络[4-5]以及其他机器学习方法[6]，存在收敛速度慢，易陷入局部最优等缺陷。为克服这些缺陷，提出了一种新的神经网络: 极限学习机(Extreme Learning Machine，ELM)[7-9]，其输入权值和隐含层偏置值随机生成且在训练中保持不变，仅需采用线性回归的方法确定输出权值。核极限学习机(Kernel ELM，KELM)[10]模型则将极端学习机与核方法相结合，进一步解决了极限学习机需要确定隐含层个数的问题，且具有更好的泛化性能。
基于核方法处理非线性问题的优势，文献[11]提出了基于核的增量ELM(Kernel Based Incremental ELM，KB-IELM)，该方法由于吸收了所有样本数据，其网络结构大小与训练样本数相等，导致模型膨胀的问题。为解决这一问题，文献[12]将在线序列极限学习机[13](Online Sequential ELM, OS-ELM)扩展到了核在线序列极限学习机(Kernel OS-ELM, KOS-ELM)，通过设置阈值进行在线稀疏。文献[14-15]引入了滑动时间窗的概念，降低了模型复杂度并提高了泛化性能。文献[16-17]分别通过瞬时信息测量和积累一致性测量的方法选择有价值的样本、舍弃冗余信息，从而构造并更新模型。文献[18]在文献[16]的基础上引入了时变的正则化因子，应对模型在不同区域的结构风险。文献[19]引入了遗忘因子，实现模型对样本动态变化的有效跟踪，并极大提升了在线预测的精度与稳定性。
以上在线预测方法均架于单变量自身的历史时间序列信息。而事实上，一个系统的各变量间是相互影响、不可剥离的因素，因此对于变量的预测不仅要考虑变量本身的历史状态，也要考虑相关变量的状态。当前国内外已有关于多变量状态预测的研究，比如文献[20]将ELM与最小二乘回归(PLSR)结合提出一种混合变量选择算法；文献[21]则将ELM与多核学习算法结合，利用多核的非同源数据融合能力实现更准确的预测，然而这些方法的耗时均较长，不符合在线预测的要求。因此有必要对多变量在线预测方法进行研究。
由于多变量时间序列的在线预测中，各个变量选择的稀疏字典是不一样的，因此以多变量相空间重构序列为输入向量、单变量为目标变量进行预测，可得到最符合目标变量变化规律的字典。本文首先通过设置时间延迟与嵌入维度，将多变量时间序列进行相空间重构；考虑到核自适应滤波(Kernel Adaptive Filtering, KAF)的收敛性和低复杂度、OS-ELM公式与递归最小二乘法(Recursive Least Square，RLS)公式的共通之处，以及KELM的运算速度优势[12]，受文献[22-23]启发，本文利用属于KAF算法的核RLS(Kernel RLS，KRLS)方法处理内核，并给出了理论推导；为消除冗余数据并增强模型泛化能力，本文采用最佳线性近似(Approximate Linear Dependency, ALD)准则对给定的测试序列执行构造性稀疏准则，将本文模型表示为KRLSELM。通过实例分析表明，相比单变量在线预测，本文的多变量在线预测可得到更高的预测精度和稳定性，且同样具有较高的时效性。
1 问题提出 1.1 多变量时间序列相空间重构 假设有一M维多变量时间序列X1, X2, …, XN，其中Xi=(x1, i, x2, i, …, xM, i)，i=1, 2, …, N。对于多变量时间序列进行相空间重构可得
 | (1) |
式中: τi、di(i=1, 2, …, M)分别表示多变量时间序列的延迟时间和嵌入维度。由塔肯斯嵌入定理[24]可知，若d或di充分大，则存在一个映射：
 | (2) |
式(2)也可写为
 | (3) |
令预测模型的输出序列为向量Yn=[y1n, y2n, …, yMn]=[x1(n+1), x2(n+1), …, xM(n+1)]，其中yin=xi(n+1)=Fi(v(n)), i=1, 2, …, M分别表示多变量序列中维度为M时的输出预测值。式(3)中，延迟时间τi，i=1, 2, …, M和嵌入维度di确定后，重构相空间内的多变量时间序列即可用于建模预测。
1.2 核极限学习机 将满足等式约束条件的核极限学习机优化问题定义为
 | (4) |
式中：β为连接隐含层与输出层的输出权值；yi为期望输出值；ξi为样本xi对应的误差值；C为正则化参数；n为样本个数。由KKT条件，可得输出权值β的计算公式为
 | (5) |
式中：H=[h(x1)，h(x2)，…，h(xn)]T为极限学习机隐含层输出矩阵；Yn=[y1，y2，…，yM]T为输入样本对应的输出目标值向量；I为单位矩阵。
相应的核极限学习机的输出形式可写为
 | (6) |
考虑到核函数的映射与极限学习机中的隐层节点映射h(x)的相似性，将h(x)扩展为未知的特征映射, 构建核极端学习机(Extreme Learning Machine with Kernels, KELM)模型。应用Mercer条件定义核矩阵为Ω=HHT，其中Ω(i, j)=h(xi)hT(xj)=k(xi, xj)，当前时刻的核估计向量为kn=[k(·, x1), k(·, x2), …, k(·, xn)]。
2 多变量时间序列在线预测模型 2.1 KRLSELM算法 递归最小二乘法(RLS)通过迭代更新权重向量来进行时间序列预测，其结构如图 1所示，设n时刻x(n)为输入样本，y(n)为输出目标值，w(n)为权重系数，RLS的输出为
 | (7) |
 |
| 图 1 RLS结构 Fig. 1 Structure of RLS |
| 图选项 |
当新样本到达时，w(n)可根据w(n-1)由以下公式得到：
 | (8) |
式中：P(n)为输入数据的自相关矩阵。为了P(n)的逆可能不存在的问题，将数据自相关矩阵正则化，即通过最小化代价函数
 | (9) |
KRLS算法将输入数据x(n)通过核映射到再生希尔伯特空间中的h(x(n))，简写为h(n)，则式(9)可改写为
 | (10) |
通过式(10)对w求偏导，可得权重向量为
 | (11) |
式中：H(n)=[h(1), h(2), …, h(n)]表示一个特征矩阵，令Ω(n)=H(n)HT(n)。式(11)的后半部分可通过矩阵求逆引理得到，转化为该形式的原因如下：①H(i)TH(i)中的每个元素可以通过核函数简化计算；②权重被明确表示为输入数据的一个线性组合：w(n)=H(n)β(n)，由式(11)可得β(n)=[λI+H(n)TH(n)]-1y(n)；③为了避免复杂的求逆运算，可以通过迭代方法来计算β(n)，经过数学推导得β(n)的迭代过程为[23]
 | (12) |
其中各个变量的迭代过程如下：
 | (13) |
KRLS算法的预测误差为e(n)=y(n)-
 | (14) |
文献[23, 25]对KRLS收敛性进行了完整推导和分析，在这种情况下，KRLS的收敛性是等价的。算法流程如下所示，其中算法的参数即为KELM中的核函数k(xi, xj)和正则化参数C，最终返回权重β(n)即为式(5)输出权重。KRLSELM算法流程如下：
步骤1 ??初始化Q(1)=(λ+k(x(1), x(1)))-1，β(1)=Q(1)y(1)。
步骤2 ??新样本(x(n)，y(n))到达，更新参数：
 | (15) |
 | (16) |
步骤3 ??更新参数：
 | (17) |
步骤4 ??返回β(n)。
2.2 ALD稀疏化准则 在迭代中，将处理和存储m个元素的集合Dic={xi}i=1m称为字典，其是原始输入样本数据的子集。ALD准则中，如果输入x(n)在特征空间中到当前字典的线性范围的距离，即式(18)大于某个阈值的话，则该输入样本加入到字典中，否则舍去该样本。
 | (18) |
式中：an=(a1, a2, …, am)为线性系数的向量组合，其表达式为
 | (19) |
在KRLS中，式(18)可以简化为式(20)左边所示[23]，其中ΩDic为可有效估计的仅限于字典的核矩阵。若式(20)成立，则新样本加入字典中，否则舍去。
 | (20) |
3 算法流程与复杂度分析 由第1节和第2节，将本文模型步骤总结如下：
步骤1 ??对多变量时间序列进行重构，设定各个维度的时滞τi和嵌入维度di，并得到输入向量x(n+1)和相应某一预测维度的目标值y(n+1)。
步骤2 ??初始化模型的参数，初始化字典Dic1={x(1), y(1)}，核函数的类别，核参数为σ，正则化因子C，阈值δ，令Q(1)=(C+k(x(1), x(1)))-1，β(1)=Q(1)y(1)。
步骤3 ??当新样本(xn，yn)到达后，判断式(20)是否成立，若dis2≥δ，则执行步骤4；若dis2 < δ，则执行步骤6。
步骤4 ??更新字典，Dicn=Dicn-1∪{x(n), y(n)}，加入新样本。使用式(16)、式(17)更新Q(n)和β(n)。
步骤5 ??使用式(6)，式(14)分别计算估计值?n=hT(x(n))β(n)以及预测误差值e(n)=y(n)-hT(n)β(n-1)，返回步骤3。
步骤6 ??令Dicn=Dicn-1，β(n)=β(n-1)。使用式(6)，式(14)计算估计值?n和误差值e(n)，返回步骤3。
从计算的角度来看，OS-ELM算法的时间复杂度与P×P矩阵求逆相关，其中P为字典的成员个数，因此介于O(P2)和O(P3)之间。由KRLSELM算法显然可得，本文模型的时间复杂度在迭代过程中为O(n2)阶，且经过稀疏化准则，这种复杂度还可以降低。
4 实例分析 为了验证算法的有效性，将本文模型应用于以Lorenz混沌时间序列预测和某型飞机发动机飞参数据进行实验分析。实验通过训练时间和测试时间指标来度量计算复杂度，通过均方根误差(Root Mean Square Error, RMSE)来度量预测精度，以及最大绝对预测误差(Maximal Absolute Prediction Error，MAPE)、绝对预测误差(APE)和平均相对误差率(Mean Relative Error Rate, MRPE)来度量预测稳定性。
 | (21) |
本文模型将分别与KB-IELM[11]、NOS-KELM[18]、FF-OSKELM[19]作对比进行验证，并将多变量时间序列预测结果与单变量预测结果作对比，文中所用核函数均为高斯核，即k(xi, xj)=exp(-‖xi-xj‖2/σ)。实验环境为MATLAB2018a，Windows 8操作系统，Intel Core i5-4210U处理器，2.40 GHz主频，8 GB RAM。
4.1 Lorenz混沌时间序列 本节首先验证算法对Lorenz混沌时间序列预测的有效性。Lorenz混沌方程是一组三元微分方程，其表达式为
 | (22) |
取a=10，b=28，c=8/3，初始值为(x(1), y(1), z(1))=(10, 1, 0)，利用4阶Runge-Kutta算法积分，取3个变量在时间为(4 001, 6 400)的延迟时间为τ1=τ2=τ3=2/s，嵌入维度为m1=m2=m3=6，即重构向量维度为18，方程产生混沌时间序列如图 2所示。相空间重构产生1 200组数据，每组数据的前1 000组作为训练样本，后200组为测试样本。其中x(t)、y(t)、z(t)表示Lorenz混沌时间序列在t时刻的值。
 |
| 图 2 Lorenz混沌时间序列 Fig. 2 Lorenz chaotic time series |
| 图选项 |
经过仿真对比，当Lorenz混沌时间序列的参数设置如表 1所示时，可获得各方法下最佳预测结果如表 2所示。其中第2列表示以图 2中的Lorenz-(x)为预测目标，分别以单变量x(即重构向量[1~6])、变量x和y(即重构向量[1~12])以及变量x、y、z(即重构向量[1~18])为输入变量进行仿真实验，并将各方法中每项指标的最优值加粗显示。由表 2可见：
表 1 Lorenz混沌时间序列实验参数设置 Table 1 Experimental parameter setting for Lorenz chaotic time series
| 方法 | 正则化因子/103 | 核参数σ/103 | 其他参数 |
| KB-IELM[11] | 20 | 0.1 | |
| NOS-KELM[18] | 2 | 3 | m=50, δ=10-2, η=0.8 |
| FF-OSKELM[19] | 2 | 1 | γ=0.999 |
| KRLSELM | 2 | 100 | δ=10-7 |
| 注：η、r、m分别为学习率、遗忘因子值、字典大小。 | |||
表选项
表 2 Lorenz混沌时间序列预测结果 Table 2 Results of Lorenz chaotic time series prediction
| 方法 | 变量 | 训练时间/s | 训练RMSE | 测试时间/μs | 测试RMSE | MAPE | MRPE |
| KB-IELM | x | 28.122 0 | 0.008 4 | 15 500 | 0.015 8 | 0.077 1 | 0.004 4 |
| x, y | 28.492 5 | 0.006 3 | 15 100 | 0.024 9 | 0.152 7 | 0.001 6 | |
| x, y, z | 28.119 5 | 0.006 8 | 19 900 | 0.056 9 | 0.342 0 | 0.004 2 | |
| NOS-KELM | x | 3.816 6 | 0.214 5 | 71 974 | 0.212 8 | 0.581 4 | 0.186 3 |
| x, y | 3.873 5 | 0.168 9 | 81 639 | 0.170 9 | 0.396 6 | 0.057 4 | |
| x, y, z | 4.244 0 | 0.228 3 | 89 808 | 0.244 4 | 0.648 3 | 0.057 3 | |
| FF-OSKELM | x | 3.121 1 | 0.017 9 | 94 554 | 0.017 1 | 0.050 5 | 0.006 5 |
| x, y | 3.120 8 | 0.011 4 | 99 473 | 0.015 0 | 0.104 7 | 0.005 1 | |
| x, y, z | 3.102 7 | 0.050 8 | 82 837 | 0.074 8 | 0.271 4 | 0.044 9 | |
| KRLSELM | x | 1.561 5 | 0.159 9 | 56 622 | 0.144 5 | 0.603 1 | 0.035 5 |
| x, y | 1.770 9 | 0.029 7 | 66 928 | 0.018 3 | 0.058 2 | 0.011 5 | |
| x, y, z | 1.881 3 | 0.014 0 | 90 021 | 0.011 0 | 0.031 9 | 0.008 7 |
表选项
1) 对比各方法的测试效果发现，对比KB-IELM、NOS-KELM和FF-OSKELM，KRLSELM将各方法的最优预测精度提高了30.38%、93.56%和26.67%。FF-OSKELM与KB-IELM与本文模型具有同等数量级的预测精度与稳定性，NOS-KELM则最低，验证了本文模型的有效性。
2) 对比不同的变量输入组合发现，预测稳定性最高的均为多变量输入；除了KB-IELM方法以外，各个方法中预测精度最高的均为多变量输入，验证了本文所提多变量时间序列预测的性能。其中KRLSELM的预测精度及预测稳定性均随着输入变量数的增加而提高；方法NOS-KELM与FF-OSKELM则在输入变量为“xy”时具有最高的预测精度。
3) 对比不同方法的消耗时间可见，除了KB-IELM以外，各方法时间花费均在10-4 s的数量级上，达到了在线预测的要求，其差异可基本忽略。
表 2中各方法下预测精度最佳的预测结果(粗体部分)，即各方法的最佳整体预测曲线如图 3(a)所示，图 3(b)所示为图 3(a)中框出来的局部放大曲线，由图中可以得到：根据整体预测曲线中可见，所有的方法基本均能有效进行目标跟踪，大体达到预测的效果；根据局部放大曲线中可见，FF-OSKELM与KB-IELM的预测精度相比NOS-KELM方法更高，其中KRLSELM的预测曲线与真实曲线最为贴近，进一步验证了表 2中的结论。
 |
| 图 3 Lorenz混沌时间序列预测曲线 Fig. 3 Prediction curve of Lorenz chaotic time series |
| 图选项 |
图 3中各方法的绝对预测误差如图 4所示。由图中可知，NOS-KELM的绝对预测误差(APE)远远高于其他方法；与KRLSELM相比，KB-IELM与FF-OSKELM的绝对预测误差变化趋势大体一致，但在预测步数为40左右时均遇到了较大的波动，因此其稳定性低于KRLSELM。
 |
| 图 4 Lorenz混沌时间序列预测误差 Fig. 4 Prediction error of Lorenz chaotic time series |
| 图选项 |
图 5为图 3各方法在训练过程中的训练样本数随训练步数的变化曲线图。图中可见：①KRLSELM方法使用的训练样本不到总样本数1/10，验证了其具有较好的稀疏效果；②FF-OSKELM与NOS-KELM的训练样本数稳定在150左右，是经过稀疏化之后的结果，但仍然低于KRLSELM；③由于KB-IELM没有稀疏化的过程，使用了所有的样本，其训练样本数与训练步数呈现线性相关关系，这也解释了表 2中该方法时间消耗最大的原因。
 |
| 图 5 Lorenz混沌时间序列训练样本数 Fig. 5 Number of training samples for Lorenz chaotic time series learning |
| 图选项 |
各方法的学习曲线由预测过程中的RMSE表征，如图 6所示。其中，NOS-KELM的收敛性明显远低于其他方法。随着预测步数的增加，KB-IELM、FF-OSKELM和KRLSELM均约在50个样本处开始收敛，学习曲线趋于平滑；其中KRLSELM能够收敛到更加精确的阶段，稳定性最高，验证了该方法的性能。
 |
| 图 6 Lorenz混沌时间序列学习曲线 Fig. 6 Learning curve of Lorenz chaotic time series |
| 图选项 |
4.2 某型飞机飞行参数在线预测 本节将验证本文模型对某型飞机发动机状态在线预测的有效性。以某型教练机的发动机为例，选取涡轮后温度以及低压转子转速、油门杆角位移、高压转子转速为监测项目，并分别标记为变量1、2、3、4。
取该机型飞行参数系统某一架次的原始数据，数据采样每隔1 s进行一次，每个变量取非平稳状态下的250个样本，设置延迟时间为τ1=τ2=τ3=τ4=1，嵌入维度为m1=m2=m3=m4=6，则得到244组新样本。由于是其他样本4倍的数量级，将其乘以1/4做处理，得到经过处理的非平稳时间序列，变化曲线如图 7所示。飞行参数包括发动机系统参数、液压系统参数、燃油系统参数、飞行姿态控制系统参数等，而数据采集系统已根据相关性分析方法对各个分系统进行了划分，例如，航速、高度、升降率属于飞行姿态控制系统参数；应急系统压力属于液压系统参数；剩余油量、燃油分耗率属于燃油系统参数；油门杆位移量、高低压转子转速，涡轮后温度属于发动机系统参数等。因此本文以发动机飞行参数系统为例对发动机状态进行预测，发动机系统共有4个可采集的与发动机状态相关的参数，由图 7可见，其变化趋势一致，因此具有一定的相关关系。实验将前194组样本作为训练数据，后50组为测试样本。
 |
| 图 7 某教练机飞行参数样本曲线 Fig. 7 Flight parameter sample curves of a trainer engine |
| 图选项 |
经过仿真对比，当飞行参数的设置如表 3所示时，可获得最优性能。以低压转子转速(变量2)为预测对象，则输入变量组合排列后共有8种空间重构变量。飞参的预测仿真结果如表 4所示，其中标粗部分为各方法下的最优预测结果。
表 3 飞行参数设置 Table 3 Experimental parameters setting for flight parameters prediction
| 方法 | 正则化因 子/103 | 核参数 σ/104 | 其他参数 |
| KB-IELM | 20 | 2 | |
| NOS-KELM | 20 | 5 | m=50, δ=10-2, η=0.8 |
| FF-OSKELM | 20 | 5 | γ=0.999 |
| KRLSELM | 20 | 1 | δ=10-7 |
表选项
表 4 飞行参数预测仿真结果 Table 4 Simulation results of flight parameters prediction
| 方法 | 测试指标 | 空间重构变量 | |||||||
| 2 | 12 | 23 | 24 | 123 | 124 | 234 | 1234 | ||
| KB-IELM | RMSE | 5.320 1 | 4.056 2 | 5.051 2 | 4.957 3 | 3.735 4 | 4.310 9 | 4.445 6 | 4.072 6 |
| MAPE | 16.89 86 | 12.752 9 | 15.936 5 | 16.264 8 | 13.150 6 | 14.097 6 | 15.497 0 | 12.832 9 | |
| MRPE | 0.064 9 | 0.044 7 | 0.065 1 | 0.057 1 | 0.041 0 | 0.049 1 | 0.055 2 | 0.045 7 | |
| 测试时间/μs | 382.32 | 545.26 | 499.93 | 397.29 | 537.13 | 3 100 | 528.58 | 576.91 | |
| NOS-KELM | RMSE | 3.167 4 | 0.669 0 | 1.372 6 | 1.648 4 | 1.156 3 | 0.968 5 | 2.704 0 | 1.660 5 |
| MAPE | 5.856 5 | 1.999 1 | 6.246 4 | 6.883 2 | 4.380 5 | 2.847 8 | 5.446 8 | 5.099 2 | |
| MRPE | 0.036 9 | 0.006 5 | 0.010 6 | 0.012 8 | 0.010 0 | 0.009 0 | 0.033 2 | 0.018 4 | |
| 测试时间/μs | 823.23 | 779.73 | 586.31 | 718.03 | 718.89 | 851.03 | 614.54 | 1 000 | |
| FF-OSKELM | RMSE | 1.694 1 | 0.468 2 | 0.743 1 | 1.488 4 | 1.079 6 | 0.469 7 | 0.847 9 | 1.045 4 |
| MAPE | 5.664 0 | 1.486 4 | 3.256 5 | 3.249 0 | 5.422 6 | 1.188 9 | 4.828 7 | 5.029 9 | |
| MRPE | 0.018 4 | 0.005 0 | 0.006 6 | 0.017 7 | 0.008 7 | 0.004 9 | 0.006 4 | 0.009 5 | |
| 测试时间/μs | 471.27 | 447.32 | 498.92 | 502.35 | 377.19 | 544.65 | 441.09 | 595.62 | |
| KRLSELM | RMSE | 1.063 8 | 0.403 4 | 0.861 2 | 1.268 7 | 0.682 2 | 0.401 2 | 0.744 3 | 0.676 5 |
| MAPE | 2.875 8 | 1.573 0 | 5.070 9 | 3.592 9 | 3.932 7 | 1.393 9 | 4.281 2 | 3.886 2 | |
| MRPE | 0.012 1 | 0.004 3 | 0.006 0 | 0.014 3 | 0.005 2 | 0.004 2 | 0.005 7 | 0.005 4 | |
| 测试时间/μs | 475.12 | 835.21 | 703.82 | 638.06 | 760.37 | 859.58 | 902.78 | 875.41 | |
表选项
由表 4可见：
1) 对比所有方法的预测结果可以发现，相比KB-IELM、NOS-KELM和FF-OSKELM，KRLSELM将各方法的最优预测精度提高了89.26%、40.03%和14.31%。同时，几乎在所有输入变量组合下，KRLSELM均具有最高的预测精度和稳定性，进一步验证了本文模型的有效性。
2) 对比所有方法的测试时间发现，由于样本数量较小，各输入变量组合的时间消耗均在10-3 s的数量级以下，满足了飞机发动机在线预测的要求。
3) 对比各算法下不同输入变量组合的预测结果发现，相比多变量输入，单变量的预测精度和稳定性几乎都是最低的，验证了多变量的考虑对单变量预测的重要意义；KB-IELM在输入组合为变量“123”时的预测精度为最优，FF-OSKELM与NOS-KELM在输入组合为变量“12”时为最优，而KRLSELM则在输入为变量“124”时为最优，因此预测精度与输入变量数不存在线性相关关系，随着输入变量数的增长，预测精度会达到一个极值点再下降。
4) 对比预测精度与稳定性的关系，输入变量“23”在FF-OSKELM方法下具有最优的测试精度，但其稳定性指标MRPE却并非最优；而在其他输入组合下可见，最优的预测精度也相应的稳定性也最优，因此预测精度与稳定性不存在一定的相关关系。
如图 8所示为KRLSELM方法中4种变量组合的飞行参数预测曲线，图 8(a)为整体预测曲线图，其中框出的部分即为图 8(b)中的局部放大预测图。图中可见：①各个变量组合大体上都能跟踪预测目标；②局部图中，显然变量“2”的目标跟踪效果远不如其他组合变量的跟踪效果，且稳定性差。如图 9所示为4种变量组合预测的APE曲线图，显然输入为变量“12”和变量“124”的预测结果相比另外2种输入稳定性更高。根据图 9中各变量输入下的APE，显然变量“12”和变量“124”的预测结果波动更小，变量“2”的波动最大，进一步验证了表 4中的结论。
 |
| 图 8 KRLSELM方法的飞行参数预测曲线 Fig. 8 Flight parameter prediction curves by KRLSELM |
| 图选项 |
 |
| 图 9 KRLSELM预测的APE Fig. 9 APE curves predicted by KRLSELM |
| 图选项 |
如图 10所示为KRLSELM方法的飞参训练样本数与训练步数的关系图。由图可知，训练样本数最高与最低的都没有达到最优预测结果，这是因为输入变量“1234”在稀疏过程中发生了过拟合，而输入变量“2”吸收的训练样本不够导致了欠采样。因此，稀疏性与吸收训练样本数并没有线性相关的关系。训练样本数在增长过程中存在一个极值点，使得方法的稀疏性达到最高。
 |
| 图 10 KRLSELM训练样本数 Fig. 10 Training sample numbers of KRLSELM |
| 图选项 |
KRLSELM方法的学习曲线如图 11所示，预测步数达到10时，预测曲线开始收敛。与表 2结论一致，输入为变量“2”时的预测效果最差，其学习曲线的收敛效果也最差；当输入组合的预测效果最优时，对应的学习曲线也最为平滑，收敛效果最好。
 |
| 图 11 KRLSELM学习曲线 Fig. 11 Learning curves of KRLSELM |
| 图选项 |
5 结论 本文考虑了非平稳时间序列预测中多个变量对于单变量预测的影响，采用空间重构方法将多变量间的时间相关性转化为空间相关性，提出KRLS与ELM结合对目标变量进行预测，通过ALD算法设置阈值对模型进行稀疏化，并应用于某教练机的发动机状态在线预测中，实验结果如下：
1) KB-IELM、FF-OSKELM与NOS-KELM均能对变量进行有效预测，且除KB-IELM方法外，其他方法都达到了在线预测的要求。
2) 满足在线预测条件的前提下，相比KB-IELM、FF-OSKELM与NOS-KELM，本文模型KRLSELM将平均预测均方根减小了90.61%、58.14%和25.77%，将平均相对误差率减少了99.61%、75.03%和28.59%，拥有更高的预测精度和预测稳定性。
3) 对比不同输入组合变量的预测结果，单变量输入的预测精度几乎都是最低的，在多变量输入组合下获得最优的测试精度及稳定性，验证了多变量的考虑对于单变量预测的意义。
参考文献
| [1] | ZHEN T, QIAN C, BUSRA G, et al. Electric vehicle air conditioning system performance prediction based on artificial neural network[J]. Applied Thermal Engineering, 2015, 89: 101-114. DOI:10.1016/j.applthermaleng.2015.06.002 |
| [2] | SAPANKEVYCH N, SANKAR R. Time series prediction using support vector machines: A survey[J]. IEEE Computational Intelligence Magazine, 2009, 4(2): 24-38. DOI:10.1109/MCI.2009.932254 |
| [3] | ZHOU D, GAO F, GUAN X. Application of accurate online support vector regression in energy price forecast[C]//World Congress on Intelligent Control & Automation. Piscataway: IEEE Press, 2004: 1845-1849. |
| [4] | SHI Z, HAN M. Support vector echo-state machine for chaotic time-series prediction[J]. IEEE Transactions on Neural Networks, 2007, 18: 359-372. DOI:10.1109/TNN.2006.885113 |
| [5] | PINO R, PARRENO J, GOMEZ A, et al. Forecasting next-day price of electricity in the Spanish energy market using artificial neural networks[J]. Engineering Applications of Artificial Intelligence, 2008, 21(1): 53-62. DOI:10.1016/j.engappai.2007.02.001 |
| [6] | BAI Y, LI T. Robust fuzzy inference system for prediction of time series with outliers[C]//2012 IEEE International Conference on Fuzzy Theory and it's Applications(iFuzzY). Piscataway: IEEE Press, 2012. |
| [7] | HUANG G B, WANG D H, LAN Y. Extreme learning machines: A survey[J]. International Journal of Machine Learning and Cybernetics, 2011, 2(2): 107-122. DOI:10.1007/s13042-011-0019-y |
| [8] | HUANG G B, CHEN L, SIEW C K. Universal approximation using incremental constructive feedforward networks with random hidden nodes[J]. IEEE Transactions on Neural Networks, 2006, 17(4): 879-892. DOI:10.1109/TNN.2006.875977 |
| [9] | HUANG G B, ZHU Q Y, SIEW C K. Extreme learning machine: Theory and applications[J]. Neurocomputing, 2006, 70(1-3): 489-501. DOI:10.1016/j.neucom.2005.12.126 |
| [10] | HUANG G B, ZHOU H, DING X, et al. Extreme learning machine for regression and multiclass classification[J]. IEEE Transactions on Systems, Man and Cybernetics Part B, 2012, 42(2): 513-529. DOI:10.1109/TSMCB.2011.2168604 |
| [11] | GUO L, HAO J H, LIU M. An incremental extreme learning machine for online sequential learning problems[J]. Neurocomputing, 2014, 128: 50-58. DOI:10.1016/j.neucom.2013.03.055 |
| [12] | SCARDAPANE S, COMMINIELLO D, SCARPINITI M, et al. Online sequential extreme learning machine with kernels[J]. Neural Networks and Learning Systems, 2015, 26(9): 2214-2220. DOI:10.1109/TNNLS.2014.2382094 |
| [13] | LIANG N Y, HUANG G B, SARATCHANDRAN P, et al. A fast and accurate online sequential learning algorithm for feedforward networks[J]. IEEE Transactions on Neural Networks, 2006, 17: 1411-1423. DOI:10.1109/TNN.2006.880583 |
| [14] | ZHOU X R, LIU Z J, ZHU C X. Online regularized and kernelized extreme learning machines with forgetting mechanism[J]. Mathematical Problems in Engineering, 2014, 2014: 1-11. |
| [15] | ZHOU X R, WANG G S. Cholesky factorization based online regularized and kernelized extreme learning machines with forgetting mechanism[J]. Neurocomputing, 2016, 174: 1147-1155. DOI:10.1016/j.neucom.2015.10.033 |
| [16] | 张伟, 许爱强, 高明哲. 基于稀疏核增量超限学习机的机载设备在线状态预测[J]. 北京航空航天大学学报, 2017, 43(10): 2089-2098. ZHANG W, XU A Q, GAO M Z. Online condition prediction of avionic devices based on sparse kernel incremental extreme learning machine[J]. Journal of Beijing University of Aeronautics and Astronautics, 2017, 43(10): 2089-2098. (in Chinese) |
| [17] | 张伟, 许爱强, 高明哲. 一种基于积累一致性测量的在线状态预测算法[J]. 上海交通大学学报, 2017, 51(11): 1391-1398. ZHANG W, XU A Q, GAO M Z. An online condition prediction algorithm based on cumulative coherence measurement[J]. Journal of Shanghai Jiaotong University, 2017, 51(11): 1391-1398. (in Chinese) |
| [18] | ZHANG W, XU A, PING D, et al. An improved kernel-based incremental extreme learning machine with fixed budget for nonstationary time series prediction[J]. Neural Computing and Applications, 2017, 31(6): 1-16. |
| [19] | 朱敏, 许爱强, 陈强强, 等. 一种基于改进KELM的在线状态预测方法[J]. 北京航空航天大学学报, 2019, 45(7): 1370-1379. ZHU M, XU A Q, CHEN Q Q, et al. An improved KELM based online condition prediction method[J]. Journal of Beijing University of Aeronautics and Astronautics, 2019, 45(7): 1370-1379. (in Chinese) |
| [20] | HAN M, ZHANG R, XU M. Multivariate chaotic time series prediction based on ELM-PLSR and hybrid variable selection algorithm[J]. Neural Processing Letters, 2017, 46(2): 705-717. DOI:10.1007/s11063-017-9616-4 |
| [21] | WANG X, HAN M. Multivariate time series prediction based on multiple kernel extreme learning machine[C]//International Joint Conference on Neural Networks. Piscataway: IEEE Press, 2014: 198-201. |
| [22] | 徐睿, 梁循, 齐金山, 等. 极限学习机前沿进展与趋势[J]. 计算机学报, 2019, 42(7): 1640-1670. XU R, LIANG X, QI J S, et al. Advances and trends in extreme learning machine[J]. Chinese Journal of Computers, 2019, 42(7): 1640-1670. (in Chinese) |
| [23] | ENGEL Y, MANNOR S, MEIR R. The kernel recursive least-squares algorithm[J]. IEEE Transactions on Signal Process, 2004, 52(8): 2275-2285. DOI:10.1109/TSP.2004.830985 |
| [24] | FLORIS T. Detecting strange attractors in turbulence, in dynamical systems and turbulence, Warwick, 1980[J]. Lecture Notes in Mathematics, 1981, 898. |
| [25] | PRINCIPE J C, LIU W, HAYKIN S. Kernel adaptive filtering: A comprehensive introduction[J]. IEEE Computational Intelligence Magazine, 2010, 5(3): 52-55. DOI:10.1109/MCI.2010.937324 |
