, 李鹏琦, 郑秀萍, 郭章东北大学 流程工业综合自动化国家重点实验室, 辽宁 沈阳 110819
收稿日期：2017-12-10
基金项目：国家自然科学基金资助项目(61473071, 61833004)；辽宁省教育厅重点实验室基础研究项目(LZ2015033)。
作者简介：卢绍文(1977-), 男, 河北保定人, 东北大学教授;
郑秀萍(1966-), 女, 辽宁沈阳人, 东北大学教授。
摘要：火焰的颜色、亮度分布、形态变化规律在不同工况下均不相同, 表现出多模态的特点; 此外, 背景环境的反光、气雾、粉尘等干扰使得目标区域和背景高度耦合, 因此传统分割算法不能确保在多种工况下的准确性.本文提出将多元图像分析和人工经验相结合的火焰图像分割方法, 通过主成分分析方法对图像降维、构造得分柱状图, 进而分割出炉口火焰区域.将本文方法应用于电熔镁炉生产的视频监控中, 结果验证了该方法的性能.
关键词：图像分割动态火焰多元图像分析电熔镁炉视频监控
A Dynamic Flame Image Segmentation Method and Its Application in Video Monitoring of Fused Magnesium Furnace Process
LU Shao-wen
, LI Peng-qi, ZHENG Xiu-ping, GUO ZhangState Key Laboratory of Synthetical Automation for Process Industries, Northeastern University, Shenyang 110819, China
Corresponding author: LU Shao-wen, E-mail: lusw@mail.neu.edu.cn
Abstract: The color, brightness distribution and shape pattern of flames vary under different working conditions, thus showing multi-modality. In addition, the background environment is highly coupled with the foreground image because of the reflection, aerosol, dust and other interferences. Traditional segmentation algorithms cannot ensure accuracy under a variety of conditions. A method of flame image segmentation based on multivariate image analysis and expert knowledge is proposed. The principal component analysis method was used to reduce the dimension of images and to construct the scatter plot of the scores, so as to obtain the regions of flame segmentation. The method was applied to the video monitoring of the production of fused magnesium furnace, which verified the performance of this method.
Key words: image segmentationdynamic flamemultivariate image analysisfused magnesium furnace processvideo monitoring
冶金、建材、化工、能源等工业的复杂生产过程中需要人工观察燃烧过程来判断生产工况.在这类生产过程中, 燃烧过程产生的火焰或烟雾的形态、颜色变化规律中蕴含着丰富的、直接反映生产状态的重要信息[1].很多情况下, 及时掌握生产运行情况, 监控异常工况, 仍依赖人工看火[2].人工看火的主要问题在于:劳动强度大, 高度依赖人的经验, 而且人在连续工作下的疲劳易导致漏报、误报等问题.所以, 发展基于图像的自动看火技术是将人从上述繁重的劳动中解放出来的必由之路.
从燃烧过程的火焰视频中及时、准确地分割出与生产工况高度相关的火焰部分图像, 是对燃烧过程进行可视化特征分析, 进而进行工况判断的关键环节.然而, 燃烧过程的高度动态性、多模态特性及火焰或烟雾形态的不规则, 给关键区域的分割和提取带来极大挑战；传统的图像分割方法[3-4]大多基于给定阈值或形态特征, 很难适用于这类动态、多模态目标的分割任务.数字抠图技术[1, 5]尽管能够实现高精度的目标分割, 但无法实时处理视频, 不适于在线工况判断.为此, 本文提出一种多元图像分析(multivariate image analysis, MIA)与人工经验相结合的动态火焰图像分割方法.图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程, 它是由图像处理到特征分析的关键步骤.图像分割根据图像的颜色、纹理及形态特征信息, 将具有相似性的信息划分为一类, 同时使具有差异性的类之间具有明显的不同, 这样就把图像划分成若干类, 即若干个不相交的区域.
在燃气、建材、火法冶金等工业中, 有一些复杂生产过程的生产状态和运行品质可以通过火焰的可视化特征来反映[6-7].为了实现基于视频的自动监控, 首先需要将关键的火焰区域分割出来, 这些区域往往蕴含工况的信息.目前, 常用的分割方法主要有:阈值分割法[8]、大津算法[9](Otsu)和模糊C均值聚类[10](fuzzy C-means, FCM).上述3种常用的分割算法中, 阈值分割法最简单，它主要通过设置合适的像素强度阈值, 对具有明显差异的区域进行分割, 但是分割效果受给定阈值的影响.大津算法是一种能够自动选取合适阈值的分割方法, 其阈值通过最小类内方差或最大类间方差法确定.该方法适用于背景区域与目标区域比例适中且信噪比较高的图像，其基本思想是寻找最佳的阈值，使不同类之间的类间方差最大(类内方差最小).模糊C均值聚类则采用隶属度来描述每个样本属于某个类的程度.
但是, 工业生产中燃烧过程所产生的火焰是动态的, 没有固定形态; 而且火焰的颜色、亮度分布、形态变化规律在不同工况下也不相同, 表现出多模态的特点.传统分割算法并不能确保在多种工况下的准确性.此外, 背景环境的反光、气雾、粉尘等干扰使得目标区域和背景高度耦合, 难以采用基于阈值的分割方法.为了解决上述问题, 本文提出一种基于多变量图像分析的方法, 并以电熔镁生产工业为背景进行应用研究.该方法能够实时、准确地从监控视频中分割出关键火焰区域, 为后续的工况特征提取和建模提供必备的预处理手段；将其应用于电熔镁炉生产的视频监控中, 验证了该方法的性能.而且, 本文所提出的方法可以应用在其他类似的问题中, 具有显著的应用参考价值.
1 基于MIA的动态火焰分割算法算法的总体思路是从图像的特征空间中分析火焰区域的统计特征, 进而计算用于图像分割的掩码操作矩阵, 实现图像的在线快速分割.本文所采用的主要工具是MIA, 它是一种多通道图像的相关性分析工具.首先利用MIA获得图像各个像素在主元空间中的相关性分布关系, 然后进行聚类划分, 最后结合人工经验选择适当的类别用于生成掩码操作矩阵.
本算法包含离线和在线处理两个部分:离线部分利用大量历史视频数据来寻找最优的掩码操作矩阵, 主要技术路线如图 1所示; 在线处理利用掩码操作矩阵实现火焰部分的分割, 并进行后处理.算法步骤如下.
图 1(Fig. 1)
 | 图 1 离线计算掩码操作矩阵流程图Fig.1 Flow chart of off-line calculation of mask matrix |
1) 提取感兴趣区域(region of interest: ROI).工业相机采集到的图像中可能包含无用背景信息, 因此对目标图像中包含火焰的部分进行ROI提取可减少反光、漫反射的干扰, 同时降低计算机运行成本.
2) 采用主成分分析(principal component analysis, PCA)对图像降维.
以3通道RGB图像为例, 首先需要将m×n×3的图像I展开为mn×3的二维矩阵X, 其中m和n为图像的宽度和长度.由于mn的数值通常较大, 需要借助核心算法[11]来简化计算.即对行展开后的图像矩阵的每个属性进行去均值化, 并构建核矩阵XTX.然后对得到的低维矩阵进行奇异值分解.
 | (1) |
 | (2) |
 | (3) |
3) 计算得分柱状图(TT图).
通过PCA降维, 原始图像被映射到对应的用主成分得分值(t1, t2, …)表征的新空间.如果图像中不同的像素点处的特征相同, 那么它们对应的得分值组合(t1, t2)也应该一致.因此, 采用(t1, t2)表征一幅彩色图像99.5 %的信息.在得分向量(t1, t2)作为基的平面上计算柱状图, 统计具有相同坐标值的点的个数, 作为该点的TTi, j值, 通过式(5)进行计算.得分柱状图可以用于提取图像中的颜色、亮度及形态等特征的聚类信息.通常得到的得分向量取值范围比较分散, 所以为了便于计算, 采用式(4)进行归一化, 将其范围设定为区间[0, 255]之间的整数.
 | (4) |
 | (5) |
4) 聚类分析并计算掩码操作矩阵.
TT图包含了输入图像在主元空间的相关性分布信息.采用聚类方法对其进行划分并进行标记.在TT图中选择特定类别的感兴趣区域, 并将被标记区域映射到原始图像, 观察在图像空间中的对应区域与人工“看火”的关键区域的一致性, 进而在TT图中确定适当的类别.定义Q为TT图中所选取的特征区域, 掩码操作矩阵可由式(6)计算:
 | (6) |
在线分割仍然需要对图像进行预处理, 即离线操作中的步骤1)~步骤3)；然后计算得分柱状图, 再根据离线计算得到的掩码矩阵, 对感兴趣火焰区域进行提取操作；最后, 对分割得到的图像进行图像处理中的开闭运算, 使图像边缘更加平滑.
2 电熔镁炉视频的图像分割电熔镁砂是纯度高、熔点高、绝缘性能强且结构致密的重要原材料, 被广泛应用在化工、建筑、家电、冶金、军事等多种行业和领域[12].我国生产电熔镁砂主要采用电熔镁炉工艺, 一般包括熔炼、加料、排气、欠烧等主要工况.电熔镁炉的工况判断对于及时调整生产操作参数、提高产品品质, 特别是避免生产异常, 具有重要意义.
目前, 电熔镁炉的工况判断主要依靠人工现场巡检.发展基于视频的自动监控技术, 首先需要从电熔镁炉的炉口火焰中分割出关键的火焰区域, 而在不同工况下, 电熔镁炉的炉口火焰的亮度、颜色、形态变化均不一样.如图 2所示, 熔炼工况下, 火焰亮度适中, 火焰颜色比较丰富, 火焰形态稳定; 加料工况下, 火焰亮度比较暗, 火焰颜色稳定, 形态变化较慢; 排气工况下, 火焰亮度比较亮, 火焰颜色比较单一, 火焰形态变化较快; 欠烧工况下, 火焰亮度变化频繁、形态不稳定.
图 2(Fig. 2)
 | 图 2 不同工况下的炉口火焰图像Fig.2 Furnace flame under different working conditions (a)—熔炼；(b)—加料；(c)—排气；(d)—欠烧. |
电熔镁炉炉口火焰具有多模态、高动态等特点, 传统的图像分割方法不能很好地解决分割问题.本文针对电熔镁炉炉口火焰的图像分割问题, 介绍所提算法的应用步骤.
2.1 电熔镁炉炉口动态火焰的分割在对现场视频图像数据进行MIA处理之前, 先提取其中一帧图像进行PCA降维, 然后运用重构公式(2), 分别使用前两个主元、第一个主元、第二个主元及第三个主元进行图像重构, 得到的图像数据如图 3所示.图 3a是原始炉口火焰图像, 对其进行PCA处理后, 取前两个特征值代入式(4)计算, 结果显示大于99.5 %, 即根据前两个主元进行重构的结果包含原始图像99.5 %以上的信息, 如图 3b所示.同理, 分别使用第一个主元、第二个主元和第三个主元进行图像重构, 结果分别如图 3c、图 3d和图 3e所示, 对应的重构图像特征值从大到小, 包含的原始图像信息也从多到少.由图可见, 图 3b与原图非常接近, 包含的信息最多; 图 3c、图 3d和图 3e失真情况越来越严重.当选择前两个主元表征原始信息时, 图 3e对应的数值就是残差矩阵E.
图 3(Fig. 3)
 | 图 3 使用不同主元进行图像重构Fig.3 Reconstructed images using different principal components (a)—原始图像；(b)—使用前两个主元；(c)—使用第一个主元；(d)—使用第二个主元；(e)—使用第三个主元. |
利用MIA方法对前述4种工况进行分析, 得到的得分柱状图如图 4所示.上述4张图分别是4种工况的炉口火焰经过MIA处理后在xy坐标系下的投影, 其中x轴对应s1, y轴对应s2, 它们反映了炉口火焰颜色亮度信息在二维空间的聚集情况, 颜色越亮的区域表示炉口具有这种颜色和亮度的像素点个数越多.
图 4(Fig. 4)
 | 图 4 对应图 2中每幅图的得分柱状图Fig.4 Score bars corresponding to each image in Fig. 2 (a)—熔炼；(b)—加料；(c)—排气；(d)—欠烧. |
采用模糊聚类方法(FCM)对得分柱状图(TT图)进行聚类, 将其分为3类, 结果见图 5a、图 5c、图 5e中分别用灰色和绿色标记的区域.通过映射方法将TT图中被标记的区域在原始图像中显示出来, 如图 5b、图 5d、图 5f所示.通过细微调节, 最终取x轴[0~50]、y轴[0~200]区域来计算分割掩码矩阵.该标记区域映射到原始图像能够获得良好的分割效果, 最终将其用于在线动态火焰图像分割.
图 5(Fig. 5)
 | 图 5 MIA分割结果及相关验证Fig.5 MIA segmentation results and related verification (a)(c)(e)—TT图中截取区域；(b)(d)(f)—与TT图截取区域对应的图像像素点. |
2.2 不同方法的性能比较为了评价MIA方法对所有电熔镁炉的图像分割的适用性, 选择图 2的4种工况样图, 使用MIA, Otsu, FCM和阈值法进行图像分割, 结果如表 1所示.
表 1(Table 1)
 表 1 不同方法的图像分割Table 1 Image segmentation by different methods
| 表 1 不同方法的图像分割 Table 1 Image segmentation by different methods |
MIA分割结果, 标记区域为2.1节确定的区域.Otsu算法的处理过程建立在灰度图像基础上, 然后寻找最佳阈值使得前景和后景之间差异值最大.采用FCM算法, 当设定聚类数为3时, 分类效果比较好.阈值法对应4种图像均设置一个固定的阈值, 阈值的确定首先通过灰度直方图确定大概位置, 再经过多次实验确定.
上述4种分割方法运行时间接近, 因此这里主要分析分割的准确性.从表 1中可以看出, MIA与阈值法的分割效果较为接近, 但是当火焰区域较小时, 阈值法存在火焰区域丢失严重的现象; 当火焰区域比较大时, 上述4种方法都存在将属于背景的区域分割到火焰区域的现象, 其中Otsu算法最为严重.
为了更深入地分析不同分割算法的准确性, 需要建立一个参考基准.本文采用KNN Matting[13]算法抠取炉口火焰区域, 并将抠取结果作为比较不同分割算法的参考真值.KNN Matting算法需要少量的人工标定, 主要基于非本地参考像素的相似性来抠取前景图像, 因此分割精度较高; 但是抠图算法计算成本高, 采用与本文实验相同配置的计算机处理一帧图像需要约5 s, 不适合实时处理, 而其他几种方法处理每帧图像只需约100 ms.
采用KNN Matting算法对4种工况火焰图像的抠取结果如图 6所示.
图 6(Fig. 6)
 | 图 6 KNN Matting算法抠取4幅图像的感兴趣火焰区域结果Fig.6 Results of the interested flame zones of the four images extracted by KNN Matting algorithm (a)—熔炼；(b)—加料；(c)—排气；(d)—欠烧. |
将KNN Matting分割结果分为两类:前景区域(灰度值大于零)与后景区域(灰度值等于零), 然后将上述4种分割方法所得到的结果转换为灰度图像, 并分别与定义的标准矩阵进行比较, 计算混淆矩阵元素值、精确率P、召回率R，以及P和R的调和均值F1值[14].其中混淆矩阵元素定义为:TP表示将正类预测为正类, TN表示将负类预测为负类; FP表示将负类预测为正类, FN表示将正类预测为负类.对每一种工况下的20张图片进行评估并求平均值, 得到的4种工况下的分割评估结果如表 2所示.
表 2(Table 2)
表 2 不同工况分割评估结果Table 2 Segmentation results of different conditions
| 表 2 不同工况分割评估结果 Table 2 Segmentation results of different conditions | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
从以上结果可以发现:
1) 本文提出的图像分割方法在加料、熔炼及欠烧三种工况下F1值均比其他三种分割方法高, 这表明, 与FCM，Otsu和阈值法相比, 本文基于MIA的图像分割方法与KNN Matting抠图法最为接近, 分割精度最好, 而且由于本文方法增加了后期的平滑处理, 因此火焰图像边缘更加光滑.
2) 本文方法在4种工况下均表现平稳; 而阈值法和FCM方法在熔炼、排气和欠烧工况下与本文方法较为接近, 但是在加料工况下分割精度较差, 因为在加料工况下, 整体图像变暗, 导致原有阈值设定或者分类不能适应新的火焰图像的特点.
3 结语本文提出一种基于MIA的动态火焰图像分割算法, 并以电熔镁生产为对象, 研究了镁炉炉口火焰图像的在线分割.与主要的图像分割方法对比表明, 本文方法精度较高, 而且在不同工况下, 针对多种形态火焰图像的分割结果最稳定.此外, 本文提出的火焰分割方法可以推广到其他类似的工业监控应用中.
参考文献
| [1] | Casti?eira D, Rawlings B C, Edgar T F. Multivariate image analysis for industrial flare combustion control[J].Industrial & Engineering Chemistry Research, 2012, 51(39): 12642–12652. |
| [2] | Lu S W, Yue H.Real-time data driven visual simulation of process manufacturing: a case study[C]//2011 Chinese Control and Decision Conference(CCDC).Mianyang, China, 2011: 1806-1809.https://ieeexplore.ieee.org/document/5968491 |
| [3] | Petrou M, Sevilla P G. Image processing dealing with texture[M]. Chichester, UK: Wiley, 2006. |
| [4] | Resmi M R, Vishnukumar S.A novel segmentation based copy-move forgery detection in digital images[C]//International Conference on Networks & Advances in Computational Technologies(NetACT).Thiruvanthapuram, India, 2017: 346-350. |
| [5] | Gao R, Liu X L.Research and implementation of digital video matting technology research the matting technology algorithm[C]// International Conference on Electronics, Communications and Control(ICECC).Ningbo, China, 2011: 2229-2232.https://www.researchgate.net/publication/261131520_Research_and_implementation_of_digital_video_matting_technology_research_the_matting_techology_algorithm |
| [6] | Li W T, Wang D H, Chai T Y. Flame image-based burning state recognition for sintering process of rotary kiln using heterogeneous features and fuzzy integral[J].IEEE Transactions on Industrial Informatics, 2012, 8(4): 780–790.DOI:10.1109/TII.2012.2189224 |
| [7] | Zhu Q S, Shao L, Li X L, et al. Targeting accurate object extraction from an image:a comprehensive study of natural image matting[J].IEEE Transactions on Neural Networks and Learning Systems, 2015, 25(2): 185–207. |
| [8] | 王培珍, 杨维翰. 图像分割的分层处理方案[J].安徽工业大学学报, 2002, 19(3): 205–208. ( Wang Pei-zhen, Yang Wei-han. Image segmentation of the hierarchical approach[J].Journal of Anhui University of Technology, 2002, 19(3): 205–208.DOI:10.3969/j.issn.1671-7872.2002.03.008) |
| [9] | Otsu N. A threshold selection method from gray-level histograms[J].IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62–66.DOI:10.1109/TSMC.1979.4310076 |
| [10] | Dunn J C. A fuzzy relative of the ISODATA process and its use in detecting compact well-separated clusters[J].Journal of Cybernetics, 1973, 3(3): 32–57.DOI:10.1080/01969727308546046 |
| [11] | Geladi P, Grahn H F. Multivariate image analysis[M]. Chichester, UK: Wiley, 1996. |
| [12] | 吴志伟, 方正, 柴天佑, 等. 电熔镁炉嵌入式专用控制器及其控制方法研究[J].仪器仪表学报, 2012, 33(6): 1261–1267. ( Wu Zhi-wei, Fang Zheng, Chai Tian-you, et al. Research on embedded special controller of electric melting furnace and its control method[J].Journal of Instrumentation, 2012, 33(6): 1261–1267.DOI:10.3969/j.issn.0254-3087.2012.06.009) |
| [13] | Chen Q, Li D, Tang C K. KNN Matting[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(9): 2175–2188.DOI:10.1109/TPAMI.2013.18 |
| [14] | Lin Y, Lv F, Zhu S, et al.Large-scale image classification: Fast feature extraction and SVM training[C]// 2011 IEEE Conference on Computer Vision and Pattern Recognition.Colorado Springs, USA, 2011: 1689-1696.http://www.ece.northwestern.edu/~mya671/mypapers/CVPR11_Lin_Lv_Zhu_Yang_Cour_Yu_Cao_Huang.pdf |
