白晶^1,2, 毛志忠¹, 浦铁成²
1. 东北大学 信息科学与工程学院, 辽宁 沈阳 110819;
2. 北华大学 电气信息工程学院, 吉林省 吉林市 132021
收稿日期：2016-07-04
基金项目：国家自然科学基金资助项目(61473072)；吉林省科技发展计划项目(20160312017ZX, 20170312031ZG)。
作者简介：白晶(1978-), 女, 吉林榆树人, 东北大学博士研究生，北华大学副教授;
毛志忠(1961-), 男, 山东莱州人, 东北大学教授, 博士生导师。

摘要：为了突破现存Hammerstein-Wiener模型参数辨识方法中假设输出非线性块可逆的限定条件, 基于可分非线性最小二乘算法, 提出由多个单变量Hammerstein子模型和一个多变量输出非线性块组成的多变量Hammerstein-Wiener模型的参数辨识方法.首先, 以输出误差最小为准则使用Levenberg-Marquardt法辨识出输出非线性块和Hammerstein子模型的两个参数集.其次, 对Hammerstein子模型使用基于张量积的奇异值分解, 辨识出输入非线性块与中间线性块的参数.再次, 理论分析了所提辨识方法的辨识收敛性.最后, 通过仿真验证此法的有效性.
关键词：多变量非线性模型Hammerstein-Wiener模型可分非线性最小二乘奇异值分解收敛性
Parameter Identification of Multivariate Hammerstein-Wiener Model
BAI Jing^1,2, MAO Zhi-zhong¹, PU Tie-cheng²
1. School of Information Science & Engineering, Northeastern University, Shenyang 110819, China;
2. College of Electrical and Information Engineering, Beihua University, Jilin 132021, China
Corresponding author: MAO Zhi-zhong, E-mail: maozhizhong@ise.neu.edu.cn
Abstract: In order to break the limited condition that the output nonlinear blocks are reversible in existing Hammerstein-Wiener model parameter identification methods, a new parameter identification method of multivariate Hammerstein-Wiener model was proposed based on separable nonlinear least square algorithm. The model was comprised of multiple univariate Hammerstein submodels and one multivariate nonlinear block. First, two parameter sets were identified for output nonlinear block and Hammerstein submodels using Levenberg-Marquardt algorithm under the minimum output error criterion. Second, parameters of input nonlinear block and middle linear block were identified by singular value decomposition (SVD) of tensor product from Hammerstein submodels. Then, the identification convergence was theoretically analyzed. Finally, simulation results showed the effectiveness of the proposed method.
Key Words: multivariatenonlinear modelHammerstein-Wiener modelseparable nonlinear least squareSVD(singular value decomposition)convergence
近年来, 块结构模型已经成为系统控制与辨识领域中的研究热点^[1].现存的Hammerstein-Wiener模型参数辨识方法主要有:最优两阶段辨识法^[2]、盲辨识法^[3]、松弛迭代辨识法^[4]、偏差补偿最小二乘法^[5]、递推辨识^[6]和梯度或最小二乘迭代辨识法^[7], 这些方法均假定输出非线性存在逆.然而实际中某些系统的输出非线性是非一一映射的, 即不可逆, 上述方法不能对输出非线性不可逆情况下Hammerstein-Wiener模型进行参数辨识.且上述方法中只有文献[7]是针对多变量模型.由于实际中很多过程是多变量的, 所以研究多变量Hammerstein-Wiener模型在输出非线性不可逆条件下的参数辨识具有重要意义.
本文研究的多变量Hammerstein-Wiener模型中, 输入非线性块和中间线性块是单变量, 而输出非线性块是多变量.在输出非线性不可逆的条件下, 首先将多个单变量Hammerstein子模型参数化, 作为多变量输出非线性块的输入.其次基于可分非线性最小二乘法, 通过变量投影, 将待辨识的参数分为两个参数集, 对其以输出误差最小为准则, 使用Levenberg-Marquardt法, 得到输出非线性块的参数和多个Hammerstein子模型参数化后的参数集.再次用基于张量积逼近的SVD(singular value decomposition)辨识出每个Hammerstein子模型中输入非线性块和中间线性块的参数.然后对所提辨识方法的一致性进行理论分析.最后通过仿真验证了本文方法的有效性.
1 参数辨识问题描述多变量Hammerstein-Wiener模型的结构如图 1所示, 输入为[u₁, u₂, …, u_r], 输出为[y₁, y₂, …, y_o].N_{input, i}为输入静态非线性块, 可以用来描述执行机构的静态非线性特性; L_i为中间动态线性块, 可以用来描述执行机构或被控对象的动态线性特性; N_output为输出静态非线性块, 可以用来描述被控对象或检测装置的静态非线性特性.图中虚线框中的中间变量[x₁, x₂, …, x_r], [v₁, v₂, …, v_r]和测量噪声[υ₁, υ₂, …, υ_o]是实际中不可测量的量.
图 1(Fig. 1)

图 1 多变量Hammerstein-Wiener模型描述的系统结构图Fig.1 Structure diagram of the system represented by multivariate Hammerstein-Wiener model

多变量Hammerstein-Wiener模型的数学描述为

(1)

式中:n_αi是第i个单变量输入静态非线性块的多项式基函数个数; n_hi是第i个单变量中间动态线性块的脉冲响应个数; n_c是多变量输出静态非线性块的向量基函数个数; g_i(·):R^r→R^l_i为多变量输出静态非线性块的向量基函数; l_i是向量基函数所含的项数.这些均是模型的结构参数, 为已知的确定量.
本文研究的参数辨识是指利用系统的N组输入输出量, 即{u⁽ⁿ⁾, y⁽ⁿ⁾}_n=1^N, 在某一准则下, 辨识出模型各块中的参数α_ij, h_ij和C_i.
2 参数辨识方法2.1 模型参数化首先, 每个单变量的Hammerstein子模型描述为

(2)

其中：
其次, 将每个v_i(t)作为多变量输出静态非线性块的输入, Hammerstein-Wiener模型的第i个输出描述为

(3)

其中：
最后, 多变量Hammerstein-Wiener模型的参数化形式为

(4)

其中, β=[β₁ ?β₂ … β_o].
经过上述参数化过程, 模型待辨识参数为两个参数集θ和β.
2.2 辨识算法用系统的N组输入输出量{u⁽ⁿ⁾, y⁽ⁿ⁾}_n=1^N构成输出量矩阵Y∈R^N×o和输入量矩阵U∈R^N×r, 多变量Hammerstein-Wiener模型的输出量矩阵为, 则模型的输出误差表达式为
其中, ψ(θ, U)=[g₁(θ, U)^Tg₂(θ, U)^T…g_nc(θ, U)^T].
基于可分非线性最小二乘方法, 通过变量投影, 定义准则函数^[8]为

(5)

式中, ψ⁺(θ, U)为ψ(θ, U)的广义逆.

(6)

求解式(6)优化问题, 得到待辨识的参数集.

(7)

将代入式(7)中, 得到待辨识的参数集.
算法实现的关键是对式(6)的求解.为简便计算将ψ(θ, U)简记为ψ, P_ψ=ψψ⁺为矩阵ψ的列向量张成的线性空间的正交投影算子；P_ψ^⊥=I-ψψ⁺为矩阵ψ的列空间正交补上的投影算子；使用括号内的下标表示函数对参数集θ中的第p个元素求导，则Z(θ)对参数集θ中的第p个元素求导^[9]为

(8)

r(θ)的Jacobian矩阵ω的第p个分量^[10]为

(9)

r(θ)的近似Hessian矩阵Ω的第p行q列的元素为

(10)

利用Levenberg-Marquardt法确定参数搜索方向δ, 按照Wolfe-Powell准则确定搜索步长η, 迭代搜索求得

(11)

其中, 为上一次迭代求解的θ值.
直到式(12)成立时, 求解得到最终的.

(12)

式中:K为矩阵Ω的Cholesky分解因子; N为辨识所用的输入输出数据组数; n_θ为待辨识参数集θ所含的参数个数; ε为辨识容忍指标.
2.3 参数分离从参数集中得到每个单变量Hammerstein子模型的参数集, 构造出矩阵：

(13)

对式(13)进行SVD分解，得

(14)

则求得的输入非线性块和中间线性块的模型参数为

(15)

式中, 当ξ_i1的第一个非零元素为正时, s_ξ为1, 当ξ_i1的第一个非零元素为负时, s_ξ为-1.
由得出式(1)中的未知参数为

(16)

其中, 规定表示由矩阵的第i行到第j行的所有列元素构成的矩阵.
2.4 收敛性分析以输出误差函数为准则辨识模型参数时, 满足以下4个条件, 本文所提辨识方法具有收敛性.
1) ψ(θ, U)的秩恒小于等于参数集θ和β中最小元素数目;
2) 输入输出数据组数N大于待辨识参数数目;
3) 迭代搜索求解时, 搜索方向依据Levenberg-Marquardt法, 搜索步长服从Wolfe-Powell准则;
4) 迭代求解的终止条件为式(12).
说明:条件1)保证可分非线性最小二乘方法成立, 是将包含两个参数集的极值问题降为包含一个参数集的极值问题的充分条件; 条件2)保证多输出误差行列式准则成立, 是保证式(5)存在解的充分条件; 条件3)中的搜索方向保证求解方向为牛顿方向, 搜索步长使目标函数不断减小, 这样求得的解必定是极小解; 条件4)保证迭代求解过程结束时所求解是收敛的.
综上所述, 本文所提出的满足上述条件的辨识方法是收敛的.
3 仿真验证为了验证本文所提方法的有效性, 考虑如图 2所示的2输入2输出系统, 单变量输入静态非线性为死区非线性, 特性为
图 2(Fig. 2)

图 2 仿真验证用的多变量非线性系统Fig.2 Multivariate nonlinear system for simulation verification

单变量动态线性部分的传递函数为
记
则多变量输出静态非线性特性为.测量噪声服从正态分布, 信噪比为20 dB.
多变量Hammerstein-Wiener模型的结构参数确定如下:r=2, o=2, n_α1=n_α2=3, n_h1=n_h2=4, 使用多项式基函数和多项式向量基函数的线性组合来描述单变量输入非线性块和多变量输出非线性块, g₁=[v₁?v₂]^T, g₂=[v₁²?v₂²]^T和g₃=v₁v₂, 即n_c=3, l₁=2, l₂=2, l₃=1.
对于图 2所示系统, 输入为服从[0, 1]均匀分布的随机信号.采集200组系统的输入输出数据, 利用其中100组数据辨识模型参数, 另外100组数据验证所得模型.
待辨识参数的初始值随机产生, 选取ε为0.001.辨识过程中的相关参数如图 3所示, 迭代599次, 最终收敛准则为1.7162e-007, 目标函数为2.3721e-015.辨识得到的模型参数如表 1所示.
图 3(Fig. 3)

图 3 辨识过程的相关参数Fig.3 Relevant parameters in the identification process

表 1(Table 1)

表 1 辨识得到的模型参数值Table 1 Identified parameters of model 参数 数值 α1 α2 h1 h2 C1 C2 C3

表 1 辨识得到的模型参数值 Table 1 Identified parameters of model

将系统的输入和输出非线性特性与辨识后的输入和输出非线性特性进行比较, 如图 4和图 5所示.可见, 本文方法对非线性特性辨识能力很好.
图 4(Fig. 4)

图 4 输入非线性特性比较Fig.4 Comparison of input nonlinear characteristics

图 5(Fig. 5)

图 5 输出非线性特性比较Fig.5 Comparison of output nonlinear characteristics (a)—输出y1的非线性特性；(b)—输出y2的非线性特性.

利用100组样本数据对模型进行验证, 如图 6所示.定义均方误差为
图 6(Fig. 6)

图 6 模型验证Fig.6 Model validation (a)—y1；(b)—y2.

(17)

其中：N=100为验证模型所用的样本数目；y_i为系统真实输出值；为辨识所得模型输出值.依式(17)得到系统的均方误差MSE₁=0.071 9, MSE₂=0.054 7.
4 结论本文研究描述实际多变量非线性系统的多变量Hammerstein-Wiener模型参数辨识问题.所提出的辨识算法不需要输出非线性块可逆的条件, 通过可分非线性最小二乘算法, 以输出误差函数为准则将参数辨识问题转换为一个多变量非线性优化问题, 利用Levenberg-Marquardt求解, 并利用收敛准则作为算法迭代结束条件, 保证算法的快速性和收敛性.最后仿真验证此法对死区非线性具有处理能力, 对多变量块结构系统参数辨识有效.
参考文献

[1]	Giri F, Bai E W. Block-oriented nonlinear system identification[M]. Berlin: Springer-Verlag, 2010: 1-50.
[2]	Bai E W.An optimal two stage identification algorithm for Hammerstein-Wiener nonlinear systems [C]// American Control Conference.Philadelphia, 1998:27-34.
[3]	Bai E W. A blind approach to the Hammerstein-Wiener model identification[J].Automatic, 2002, 38(6): 967–979.DOI:10.1016/S0005-1098(01)00292-8
[4]	Zhu Y. Estimation of an N-L-N Hammerstein-Wiener model[J].Automatic, 2002, 38(9): 1607–1614.DOI:10.1016/S0005-1098(02)00062-6
[5]	李妍, 毛志忠, 王琰, 等. 基于偏差补偿递推最小二乘的Hammerstein-Wiener模型辨识[J].自动化学报, 2010, 36(1): 163–168. ( Li Yan, Mao Zhi-zhong, Wang Yan, et al. Identification of Hammerstein-Wiener models based on bias compensation recursive least squares[J].Acta Automatic Sinica, 2010, 36(1): 163–168.)
[6]	Yu F, Mao Z Z, Jia M X, et al. Recursive parameter identification of Hammerstein-Wiener systems with measurement noise[J].Signal Processing, 2014, 105(12): 137–147.
[7]	Salimifard M, Jafari M, Dehghani M. Identification of nonlinear MIMO block-oriented systems with moving average noises using gradient based and least squares based iterative algorithms[J].Neurocomputing, 2012, 94(3): 22–31.
[8]	Golub G, Pereyra V. Separable nonlinear least squares:the variable projection method and its applications[J].Inverse Problems, 2003, 19(2): R1–R26.DOI:10.1088/0266-5611/19/2/201
[9]	O'Leary D P, Rust B W. Variable projection for nonlinear least squares problems[J].Computational Optimization & Applications, 2013, 54(3): 579–593.
[10]	Bates D M, Watts D G. A generalized Gauss-Newton procedure for multiresponse parameter estimation[J].SIAM Journal on Scientific & Statistical Computing, 1987, 8(1): 49–55.