, 刘乐源, 康孝云 东北大学 信息科学与工程学院, 辽宁 沈阳 110819
收稿日期：2021-03-18
基金项目：国家自然科学基金资助项目(61873053)。
作者简介：常玉清(1973-), 女, 辽宁沈阳人, 东北大学教授。
摘要：当工业生产过程数据匮乏时, 很难利用基于数据统计的方法建立其过程监测模型, 这给过程监测的准确性和及时性带来很大影响, 迁移学习为解决上述问题提供了有效的途径.针对目标域磨煤机过程数据较少的情况, 在源域磨煤机数据的基础上, 建立基于实例迁移高斯混合模型(Gaussian mixture model, GMM)的目标域磨煤机过程监测模型.利用实例迁移对源域生产过程和目标域过程数据进行权重分配, 通过改进的高斯混合模型算法得到最佳高斯组分数目和对应的模型参数, 应用过程监测的全局概率指标实现磨煤机过程的跨域监测.磨煤机过程的研究结果验证了所提出方法的可行性和有效性.
关键词：过程监测高斯混合模型实例迁移权重分配全局概率指标
Modeling of Coal Mill Process Monitoring Based on Instance-based Transfer Learning
CHANG Yu-qing, ZHAO Wei-wei
, LIU Le-yuan, KANG Xiao-yun School of Information Science & Engineering, Northeastern University, Shenyang 110819, China
Corresponding author: ZHAO Wei-wei, E-mail: zhww3220@163.com.
Abstract: Considering the shortage of industrial process data, process monitoring model based on data statistics is difficultly established, resulting in an adverse impact on the accuracy and timeliness of monitoring. Transfer learning provides an effective way for the above situation. In view of the fact that the coal mill process data in the target domain is less, on the basis of the source domain coal mill data, a target domain coal mill process monitoring model based on the instance-based transfer Gaussian mixture model(GMM)is established. The instance-based transfer learning is used to assign weight of source domain production process and target domain process data, using the modified algorithm of GMM to automatically optimize the number of Gaussian components and corresponding model parameters. The global probability index of the process monitoring is applied to realize the cross-domain monitoring of the coal mill process. The research results of the coal mill process verify the feasibility and effectiveness of the proposed method.
Key words: process monitoringGaussian mixture modelinstance-based transfer learningweight distributionglobal probability index
磨煤机是火电厂制粉系统的核心设备, 负责将煤块压碎并碾磨成煤粉, 由一次风输送至炉膛供给燃烧, 在火力发电中起到了十分重要的作用.但在实际工业生产中, 磨煤机本身具有复杂性、集成化等特点, 在恶劣的环境下长时间高负荷运转, 很容易产生异常而导致故障发生, 为了保证工业生产过程的安全可靠运行, 对其进行在线监测具有重要意义[1].由于实际磨煤机运行过程不符合单一高斯分布, 特别是对于新购置的磨煤机设备而言, 建模数据匮乏, 采用传统的过程监测建模方法往往很难奏效.
目前, 针对工业过程监测已有很多的研究成果.Chow等[2]确定了系统中已知且包含大量不确定性的解析冗余关系, 在此基础上设计残差生成程序, 并将其转化为最优化问题进行监测.Garcia等[3]在减少原系统中参数数目估计的基础上, 得到参数化观测器，实现对系统的监测.
由于难以获得工业过程的精确机理模型, 多元统计技术在过程监测领域得到了广泛应用, 并突破了传统基于模型的方法限制, 该技术应用正常工况下的历史数据建模, 提取变量相关性, 降低空间维度, 应用统计量指标实现对运行状态的监测.在该基础上, 主成分分析(PCA)[4-6]、独立成分分析(ICA)[7-8]及偏最小二乘(PLS)[9-10]等方法被提出并得到广泛应用.PCA通过对高维数据进行降维, 找到较低维的互不相关的潜在变量, 同时保留原始变量的最大方差; PLS将预测变量和观测变量分别投影到一个潜在空间, 同时对其提取主成分, 以上方法要求运行数据符合单一高斯分布等限制.对于非高斯过程, 基于ICA的监测方法逐渐发展起来.ICA将数据分离成统计独立的信号源的线性组合, 利用过程数据的高阶统计信息代替二阶统计量.高斯混合模型(GMM)[11-12]是一种用于非高斯分布的数据处理和分析算法, 在机器学习、数据挖掘等领域广泛应用.
本文利用实例迁移学习[13-15]思想, 在目标域磨煤机生产运行数据较少的情况下, 构建基于实例迁移高斯混合模型的磨煤机过程监测模型, 对源域磨煤机生产过程中丰富的数据及经验知识进行重用, 实现对目标域磨煤机生产过程的运行状态监测.
1 磨煤机过程运行影响因素分析磨煤机常年处于高负荷的运行状态, 运行时间长且工作环境恶劣, 对磨煤机硬件带来了很大考验, 容易出现轴承、碾磨件的磨损断裂及风管积粉、气密性下降等问题, 这些问题会给磨煤机带来很大的安全隐患.利用磨煤机的生产过程数据, 对磨煤机进行过程监测可有效避免磨煤机发生故障.
本文以MPS-HP-Ⅱ型中速磨煤机为研究对象, 该型号磨煤机所属的正压直吹式制粉系统如图 1所示, 该系统以磨煤机为核心, 配备有给煤机、送风机、粗粉分离器等设备.
图 1(Fig. 1)
 | 图 1 正压直吹式制粉系统结构Fig.1 Structure of positive pressure direct blowing pulverizing system 1—密封风机; 2—给煤机; 3—粗粉分离器; 4—磨煤机; 5—燃烧器; 6—锅炉炉膛; 7—一次风机; 8—空气预热器; 9—送风机. |
在磨煤机系统中, 对其运行状态具有重要影响的过程变量信息包括: 瞬时给煤量、一次风流量、一次风温度、风煤比、进出口压力等.
当瞬时给煤量太小时, 磨煤机会出现断煤现象, 主要表现为磨煤机进出口压差逐渐减小, 出口温度快速上升; 若瞬时给煤量太大, 一次风流量较小、入口温度低则会导致磨煤机堵塞, 磨煤机出力减小, 出口温度降低; 当系统一次风流量偏大时会造成粗粉分离器出口温度增大, 煤粉过细; 风煤比过低或者一次风温低会导致煤粉干燥不充分, 进而造成磨煤机堵粉, 具体表现为出口温度下降, 进出口压差增加; 磨煤机进口或出口风温过高、一次性风量较小有可能造成磨煤机自燃, 造成极大损失.
为了避免严重故障的发生, 本文根据影响磨煤机运行状态的过程变量数据建立其运行监测模型, 实现磨煤机运行状态的实时监测.
2 基于GMM的过程监测2.1 标准GMM在实际工业运行过程中, 每个单独的操作模式对应于一个高斯分量, 该模式下的运行数据符合高斯分布, 而对于不符合高斯分布的运行过程数据, 可以通过对多个高斯密度函数采取加权的方式, 即利用高斯混合模型加以描述, 如式(1)~式(2)所示.
假设xi∈Rm, i=1, 2, …, n，是不符合高斯分布的m维样本, 其概率密度函数可以由多个高斯分量的概率密度函数线性叠加得到:
 | (1) |
 | (2) |
2.2 GMM参数求解建立监测模型前, 首先需要对高斯混合模型的参数进行求解, 期望最大化(EM)算法是一种在数据缺失的情况下估计模型参数的迭代方法, 但存在无法自动确定高斯分量个数的缺陷, 容易陷入局部最优而不是全局最优.针对这一问题, 可以采用具有自动确定最佳高斯分量数目能力的F-J算法[16].
F-J算法从任意大的高斯分量数目开始, 通过消除不重要的高斯分量权重自适应地确定最佳高斯分量个数, 找到目标函数的最优解, 实现对模型统计分布参数的估计.
2.3 过程监测得到高斯混合模型具体参数后, 需要构建一个监测指标来实现对磨煤机的过程监测, 本文在构建监测指标时引入基于马氏距离(Mahalanobis distance)的局部概率指标.马氏距离被广泛应用在相似性度量方面, 与欧氏距离相比, 加入协方差矩阵能够排除变量之间的相关性干扰.
考虑到高斯混合模型中的每个高斯分量都遵循单峰高斯分布, 假设样本xi属于高斯分量Cj, 则xi到Cj中心的马氏距离的平方符合卡方分布(chi-square distribution)[16], 使用正则化的马氏距离避免协方差矩阵奇异:
 | (3) |
因为(Σj+εI)是对称且正定的, 故正则化之后的Dm也近似服从卡方分布:
 | (4) |
 | (5) |
 | (6) |
 | (7) |
在置信限确定的情况下, 该指标可以用来监测样本是否异常, 考虑到每个监测样本来自多个高斯分量的后验概率, 将局部概率指标和后验概率进一步整合, 得到基于贝叶斯推理的概率指标(BIP)[16]:
 | (8) |
 | (9) |
 | (10) |
当运行状态出现异常时, BIP>0.95, 此时全局监测指标J>1;反之, 则正常运行, BIP≤0.95, 监测指标0 < J≤1.
3 磨煤机过程监测模型建立磨煤机所处运行环境恶劣, 在实际应用中需长时间高负荷运转, 会出现一些硬件损坏、堵粉的问题, 这些情况一旦出现, 造成的实际后果难以估计, 因此对磨煤机进行过程监测时应尽量避免以上状况发生.
应用迁移学习, 建立目标域磨煤机和数据丰富的源域磨煤机之间的桥梁, 将已有磨煤机所具有的专家经验知识、运行数据等迁移到目标域磨煤机过程中, 为解决数据不足带来的难以建立监测模型的问题提供了有效途径.
3.1 基于实例迁移的GMM监测模型由于工业生产过程存在大数据与小标注之间、大数据与弱计算之间的矛盾, 迁移学习在工业过程中被广泛应用, 针对传统的过程监测算法在对历史数据匮乏的目标域过程进行监测时准确度不高的问题, 本文在构建监测模型时加入了实例迁移思想, 将其与GMM框架相结合, 得到一种基于实例迁移的过程监测模型, 如图 2所示.
图 2(Fig. 2)
 | 图 2 基于实例迁移的GMM过程监测模型Fig.2 GMM process monitoring model based on instance transfer |
在目标域磨煤机(Dt)的少量运行数据中, 加入相似异地磨煤机(源域磨煤机Ds)的运行数据, 训练得到基于源域和目标域数据的高斯混合模型, 在对目标域数据实现最佳利用的基础上, 通过实例迁移对训练样本中的数据权重不断进行迭代调整, 增强高斯混合模型对目标域过程的适应性, 进而用于实现数据匮乏情况下的目标域磨煤机过程在线监测.
监测模型的具体步骤如下:
步骤1 ??初始化源域运行数据和目标域运行数据的权重, 分别对源域和目标域数据样本平均分配权重.
由于目标域中可应用的运行数据较少, 需要利用已有源域磨煤机系统的相似运行数据, 建立源域数据与目标域数据共同驱动的过程监测模型.对运行数据加初始权重便于迁移过程中对样本数据权重进行调整, 即降低辅助数据集中与目标数据集相关性不高的运行数据在模型建立过程中的作用; 对于与目标域磨煤机运行状况更加相似的数据, 则增加其权重.
步骤2 ??应用步骤1得到的加权后的源域大量运行数据Ts和目标域中现有少量运行数据Tt合并构建训练集T, 依据训练集数据建立高斯混合模型.
步骤3 ??利用步骤2得到的GMM对训练集中的目标域运行数据进行监测, 并得到监测结果.这表明由源域数据辅助建立的初始模型对目标域磨煤机系统监测的准确度.
步骤4 ??根据步骤3中的监测结果得到权重更新参数.
步骤5 ??利用权重更新参数通过不同的调整方式分别对目标域样本数据和源域样本数据进行修正.
由于训练样本是由与测试样本不同分布的辅助数据Ts和与测试样本同分布的目标数据Tt共同组成的, 进行权重更新时, 针对以上两类不同数据, 使用了不同的权重设置方法.一旦来自目标域磨煤机系统的训练样本被错误监测, 认为该样本监测难度较大, 则增大该样本权重; 如果来自源域磨煤机的样本被错误监测, 认为该样本与目标域磨煤机系统相似性不高, 降低该样本权重.
步骤6 ??转步骤2, 应用权重修正后得到的训练集建立新的高斯混合模型, 检验是否达到期望监测准确率.若达到, 则停止权重修正, 得到最终的过程监测模型, 应用其实现对目标域磨煤机运行状态的监测, 输出结果; 否则, 继续进行权重更新.
3.2 过程监测模型参数确定已知由辅助数据Ts和目标数据Tt共同组成的训练样本集合X={x1, x2, …, xn+m}∈Ra×(n+m).
给定所有训练样本一个初始权重:
 | (11) |
在此基础上建立GMM, 利用F-J算法估计模型的统计分布参数, 其目标函数为
 | (12) |
F-J算法分为以下3步进行迭代:
1) 选择任意大的高斯分量数目K=Kmax, 采用随机中心的方法得到F-J迭代的初始参数ω0, μ0和Σ0;
2) 应用式(13)计算后验概率p(s)(Cj|vitxi), 利用式(14)~式(16)计算模型参数;
 | (13) |
 | (14) |
 | (15) |
 | (16) |
令K=Kmax－1, 重复以上3个步骤, 循环得到使目标函数最小的K, 即高斯混合模型的最佳分量个数, 确定最终参数集.
用高斯混合模型对训练样本进行监测, 设置错误率参数ft(x):
 | (17) |
 | (18) |
 | (19) |
 | (20) |
 | (21) |
不断重复以上过程, 对训练样本集进行权重调整, 直至达到迭代停止条件, 得到最终监测模型:
 | (22) |
3.3 算法监测的具体步骤步骤1 ??将目标训练样本集和辅助训练样本集合并组成训练集, 设定初始权重;
步骤2 ??应用训练集数据建立基于实例迁移的高斯混合监测模型;
步骤3?? 利用上述监测模型对目标域磨煤机运行状态进行监测, 依据式(10)得到每个样本点的全局监测指标;
步骤4 ??给定BIP指标控制限, 本文取0.95, 其对应的全局监测指标控制限为1.当连续10个样本点指标超出控制限时, 认为目标域磨煤机运行出现异常.
4 仿真与实验应用实际磨煤机生产过程数据, 对本文提出的基于实例迁移的过程监测算法进行验证.磨煤机机理模型是根据实际项目中磨煤机机理信息及实际数据得到的, 能够对真实磨煤机生产运行过程进行模拟.磨煤机系统中的主要过程变量如表 1所示.
表 1(Table 1)
 表 1 磨煤机系统过程变量Table 1 Process variables of coal mill system
| 表 1 磨煤机系统过程变量 Table 1 Process variables of coal mill system |
在实验中, 选取了100个目标域磨煤机数据样本和500个已有磨煤机数据样本进行建模.
设置一个较大的初始高斯组分数(每次迭代均取为10), 通过F-J算法自动求取最佳高斯组分数, 确定高斯混合模型参数, 在初始监测模型的基础上, 不断迁移迭代, 进行权重更新, 调整参数, 得到最终的监测模型, 其高斯组分个数如图 3所示.
图 3(Fig. 3)
 | 图 3 F-J迭代次数对高斯组分个数的影响Fig.3 Influence of number of F-J iterations on number of Gaussian components |
本文模拟了3种异常模式, 将本文方法与普通GMM监测方法进行对比.
1) 异常模式1:采集230个目标域磨煤机的过程样本, 在第180个采样点开始连续加入50个异常点, 加入方式为对变量10(一次风温度)增加1个5%的阶跃扰动.
2) 异常模式2:采集230个目标域磨煤机的过程样本, 在第180个采样点开始连续加入50个异常点, 加入方式为逐步递增变量10.
3) 异常模式3:采集230个目标域磨煤机的过程样本, 在第180个采样点开始连续加入50个异常点, 加入方式为对变量10加入随机变化.
仿真结果分析:
1) 分别对样本数据建立普通GMM和基于实例迁移的GMM, 对比两者在异常模式1下的监测结果, 如图 4所示.当监测样本指标低于控制限时, 认为目标域磨煤机正常运行, 否则认为出现异常.从图 4a可知普通GMM监测方法在第184个样本点处开始超限, 延迟了3个样本点, 能够较为及时地监测出阶跃异常, 但在第43, 52, 55和77个样本点处存在误报; 相比之下, 基于实例迁移的GMM过程监测方法更为准确, 如图 4b所示.由以上分析可知, 对于加入阶跃扰动的异常运行状态, 普通GMM方法和基于实例迁移的GMM过程监测方法的监测结果相近.
图 4(Fig. 4)
 | 图 4 两种方法在异常模式1下的监测结果Fig.4 Monitoring results of the two methods under abnormal pattern 1 (a)—GMM; (b)—基于实例迁移的GMM. |
2) 利用之前建立好的普通GMM和基于实例迁移的GMM, 对异常模式2下的数据进行监测, 结果如图 5所示.由图 5a可知, 基于普通GMM的过程监测方法在第191个样本点处才监测出缓变异常, 在第43, 69, 95和104个样本点处出现误报; 基于实例迁移的GMM过程监测方法在第183个样本点处监测到了缓变异常.结果表明在目标域磨煤机运行数据较少的情况下, 基于实例迁移的GMM过程监测方法在准确性和快速性方面更具有优势.
图 5(Fig. 5)
 | 图 5 两种方法在异常模式2下的监测结果Fig.5 Monitoring results of the two methods under abnormal pattern 2 (a)—GMM; (b)—基于实例迁移的GMM. |
3) 在对异常模式3下的数据样本进行监测时, 普通GMM监测181~230这50个异常点时, 出现了大量的漏报, 无法准确指示异常, 见图 6a; 对于加入随机变化的异常运行状态, 基于实例迁移的GMM过程监测方法, 在第185个样本点处开始连续10个样本点超限, 能够监测出随机变化的异常, 如图 6b所示.
图 6(Fig. 6)
 | 图 6 两种方法在异常模式3下的监测结果Fig.6 Monitoring results of the two methods under abnormal pattern 3 (a)—GMM; (b)—基于实例迁移的GMM. |
通过以上比较分析可知, 本文提出的方法在监测漏报率、误报率和准确度方面, 具有一定的优势, 能够实现对于数据匮乏的目标域磨煤机生产过程的监测.
5 结论1) 在磨煤机实际生产过程的基础上, 建立了监测模型.针对新投入应用磨煤机过程运行数据不足的问题, 利用实例迁移能够较好地对源域生产过程数据中的知识进行重用, 提出了一种基于实例迁移的高斯混合模型监测算法.该算法可以搭建起新磨煤机与源域磨煤机之间的桥梁, 充分利用源域磨煤机过程中的生产经验及专家知识建立监测模型.
2) 仿真结果表明, 该方法在监测准确度和漏报率方面表现优异, 能够较好地监测磨煤机运行中不同形式的异常, 比传统的过程监测方法更具有优越性, 显示出该方法在工业过程监测中的应用潜力.
参考文献
| [1] | 张淑美, 王福利, 王姝, 等. 基于数据特性分析的多变量过程监测[J]. 东北大学学报(自然科学版), 2017, 38(5): 609-614. (Zhang Shu-mei, Wang Fu-li, Wang Shu, et al. Multivariate process monitoring based on the characteristic analysis of the data[J]. Journal of Northeastern University(Natural Science), 2017, 38(5): 609-614. DOI:10.3969/j.issn.1005-3026.2017.05.001) |
| [2] | Chow E Y, Willsky A S. Analytical redundancy and the design of robust failure detection systems[J]. IEEE Transactions on Automatic Control, 1984, 29(7): 603-614. DOI:10.1109/TAC.1984.1103593 |
| [3] | Garcia E A, Han Z, Frank P M. FDI based on parameter and output estimation: an integrated approach[C]//European Control Conference. Karlsruhe: Springer, 1999: 3370-3375. |
| [4] | Kruger U, Kumar S, Littler T. Improved principal component monitoring using the local approach[J]. Automatica, 2007, 43(9): 1532-1542. DOI:10.1016/j.automatica.2007.02.016 |
| [5] | Zhang J, Chen H, Chen S, et al. An improved mixture of probabilistic PCA for nonlinear data-driven process monitoring[J]. IEEE Transactions on Cybernetics, 2019, 49(1): 198-210. DOI:10.1109/TCYB.2017.2771229 |
| [6] | Zhou P, Zhang R, Xie J, et al. Data-driven monitoring and diagnosing of abnormal furnace conditions in blast furnace ironmaking: an integrated PCA-ICA method[J]. IEEE Transactions on Industrial Electronics, 2021, 68(11): 622-631. |
| [7] | Almeida A, Almeida O, Junior B, et al. ICA feature extraction for the location and classification of faults in high-voltage transmission lines[J]. Electric Power Systems Research, 2017, 148: 254-263. DOI:10.1016/j.epsr.2017.03.030 |
| [8] | Li Z, Yan X. Fault-relevant optimal ensemble ICA model for non-Gaussian process monitoring[J]. IEEE Transactions on Control Systems Technology, 2020, 28(6): 2581-2590. DOI:10.1109/TCST.2019.2936793 |
| [9] | Kruger U, Zhou Y, Wang X, et al. Robust partial least squares regression.Part I: algorithmic developments[J]. Journal of Chemometrics, 2010, 22(1): 1-13. |
| [10] | Li G, Liu B, Qin S, et al. Quality relevant data-driven modeling and monitoring of multivariate dynamic processes: the dynamic T-PLS approach[J]. IEEE Transactions on Neural Networks, 2011, 22(12): 2262-2271. DOI:10.1109/TNN.2011.2165853 |
| [11] | Yu J. Fault detection using principal components based Gaussian mixture model for semiconductor manufacturing processes[J]. IEEE Transactions on Semiconductor Manufacturing, 2011, 24(3): 432-444. DOI:10.1109/TSM.2011.2154850 |
| [12] | Cai L, Tian X, Chen S. Monitoring nonlinear and non-Gaussian processes using Gaussian mixture model-based weighted kernel independent component analysis[J]. IEEE Transactions on Neural Networks & Learning Systems, 2015, 28(1): 1-14. |
| [13] | Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359. DOI:10.1109/TKDE.2009.191 |
| [14] | Zhuang F, Qi Z, Duan K, et al. A comprehensive survey on transfer learning[J]. Proceedings of the IEEE, 2020, 109(1): 1-34. |
| [15] | Dai W, Yang Q, Xue G. Boosting for transfer learning[C]//International Conference on Machine Learning. Corvalis, Oregon, USA: Association for Computing Machinery, 2007: 193-200. |
| [16] | Yu J, Qin S J. Multimode process monitoring with Bayesian inference-based finite Gaussian mixture models[J]. AIChE Journal, 2008, 54(7): 1811-1829. DOI:10.1002/aic.11515 |
