王良勇, 朱耀龙, 淦晨阳
东北大学 流程工业综合自动化国家重点实验室，辽宁 沈阳 110819
收稿日期：2021-11-04
基金项目：沈阳市中青年科技创新人才项目(RC200519)。
作者简介：王良勇(1980-), 男, 山东聊城人, 东北大学教授。

摘要：针对晶体尺寸期望以及标准偏差特性的在线反馈控制问题，提出一种基于深度学习图像分析的在线反馈控制方法.首先，通过基于深度学习神经网络的晶体图像分析方法在线分析晶体的形状与尺寸；然后，对图像分析的结果进行数学统计分析，得到某一批次晶体的尺寸期望与标准偏差；最后，针对晶体尺寸期望和标准偏差控制的欠输入特性设计了一种路径跟踪算法与PID相结合的反馈控制器，以获得具有目标尺寸期望与标准偏差的晶体.通过明矾冷却结晶实验验证了所提方法的有效性和可行性.
关键词：冷却结晶晶体特性图像分析路径跟踪在线反馈控制
Feedback Control of Crystal Characteristics Based on Deep Learning Image Analysis
WANG Liang-yong, ZHU Yao-long, GAN Chen-yang
State Key Laboratory of Integrated Automation for Process Industry, Northeastern University, Shenyang 110819, China
Corresponding author: WANG Liang-yong, E-mail: lywang@mail.neu.edu.cn.

Abstract: Aiming at the online control of crystal size expectation and standard deviation characteristics, an online feedback control method based on deep learning image analysis is proposed. Firstly, the crystal image analysis method using deep learning neural network is introduced to analyze the shape and size of crystals online. Then, mathematical statistical analysis is performed to obtain the size expectation and standard deviation of a certain batch of crystals. Finally, a feedback controller combining path tracking algorithm and PID algorithm is designed to deal with under-input characteristics, so that the target size expectation and standard deviation is obtained. The effectiveness and feasibility of the proposed method is verified by the alum cooling crystallization experiment.
Key words: cooling crystallizationcrystal characteristicsimage analysispath trackingonline feedback control
结晶是许多化学工业中主要的分离过程，用来得到高纯度的晶体产品.大多数晶体产品的质量与晶体特性(如晶体尺寸期望与标准偏差)有着密切的联系.近年来，如何通过控制结晶过程获得具有特定特性的晶体产品成为相关研究的难点^[1-3].在典型的工业冷却结晶过程中，常常对一些易于测量的变量(例如温度)进行简单控制，确保整体过程可以平稳进行，但很少对晶体特性进行在线反馈控制.
目前，常见的测量工具^[4-5]主要包括库尔特计数器、激光衍射和聚焦光束反射测量.但是各测量方法都有一定的局限性，库尔特计数器和激光衍射的测量过程是在球形粒子假设的基础上进行的，测量准确度不是特别理想.聚焦光束反射测量基于晶体一维弦长分布(chord length distribution, CLD)的概念实现对晶体粒度的间接测量，存在精确度低以及测量成本高的问题.目前，基于深度学习的实例分割方法^[6-7]已被应用到晶体颗粒的检测中.基于深度学习的晶体图像分析方法具有分割分类精度高、可靠跟踪以及处理速度快等优点，可以适用于结晶过程的原位跟踪和控制研究.
在关于结晶过程控制的研究中，主要策略是通过控制一些关键性能指标，例如平均尺寸等^[8-16]，从而对结晶过程实现有效控制.常见的控制方法主要包括基于模型的控制、无模型的控制和基于数据驱动的控制.在基于模型的控制研究中，常用典型的粒数衡算模型(population balance model, PBM)^[8]来描述结晶的动态过程，由于模型强耦合以及非线性的特点，绝大多数控制器都会对模型实施降阶矩处理，这样可以降低计算成本并且提高相关精度^[9-11].Mesbah等^[12]基于PBM研究了工业批量结晶过程的实时输出反馈控制，以晶体尺寸分布为控制指标，通过直接多重打靶策略以及模型预测实现了控制的优化与调整.Ghadipasha等^[13]提出了几种基于Fokker-Planck方程的简单动态模型，设计和实施了基于模型的控制策略，并将图像处理技术应用到NaCl冷却反溶剂结晶过程中，以获得设定的晶体平均尺寸.Szilágyi等^[14]通过从溶液浓度和CLD的测量结果中估计晶体成核和生长动力学条件，以此创建和校准了基于晶体粒数衡算的结晶过程模型，设计了非线性模型预测控制(nonlinear model predictive control, NMPC)与水平状态估计器相结合的晶体特性控制器，从而控制CLD达到预期目标.无模型控制策略中过饱和控制(SSC)^[15]和直接成核控制(DNC)^[16]是现在比较常见的控制方法，操纵实时测量的相关变量(SSC中的过饱和度和DNC中的晶体粒子个数).除此之外，无模型控制也可以通过分析结晶过程的实验条件来获取特定晶体特性.
本文旨在通过使用基于深度学习的实时图像分析方法实现晶体特性(尺寸期望以及标准偏差)在线反馈控制.基于深度学习分析得到了两种晶体特性的实时数值，设计了基于路径跟踪与PID算法相结合的晶体特性控制器，实现对晶体尺寸期望和标准偏差的在线控制.在冷却间歇式结晶器中进行明矾冷却结晶实验，从而验证了所提控制策略的实时可行性以及控制算法的有效性.
1 晶体特性控制问题描述1.1 结晶过程描述图 1为冷却间歇式结晶器示意图，包括一个入口与一个出口，是一个标准的单一混合式结晶器.其中，温控设备通过控制夹套中的水流来维持结晶器中的温度，结晶器通过变速桨叶搅拌器来实现溶液均匀混合，侵入式相机用于观察结晶实时过程，温度计实时获取结晶器中的溶液温度.
图 1(Fig. 1)

图 1 冷却间歇式结晶器示意图Fig.1 Schematic diagram of cooling batch crystallizer

假设结晶器内溶液混合均匀，本文基于一维特征尺寸的粒数衡算模型^[15]设计晶体特性在线控制策略.浓度是与晶体种群特性相关的关键变量，因此结晶过程必须满足质量守恒关系.粒数衡算以及质量守恒模型相关的公式如下：

(1)

(2)

(3)

(4)

(5)

式中：γ(y, t)为晶体粒度分布，y为晶体的特征尺寸，t为结晶过程中的某一时刻；G(y, t)为晶体生长函数；c(t)表示溶液浓度；ρ为溶质的密度；k_v为溶质的分子体积因子；y_max为最大晶体特征尺寸；k_G为生长速率常数；g为生长级数；S为过饱和度；ΔE_G为结晶活化能；T为结晶时温度；R为理想气体常数；γ₀(y)为晶种初始分布；c₀为初始溶液浓度.
结晶过程模型是复杂耦合的非线性模型，因此大部分应用于控制与优化的模型都是经过降阶处理的矩模型，无法准确表达结晶过程中更多的动态特性.另外，目前对结晶过程中晶体特性的直接在线测量缺乏有效手段，大多是离线测量控制，在线直接控制晶体特性的控制策略与实验较少.因此，本文提出基于图像实时分析的结晶过程晶体特性在线控制策略，通过图像实时分析获取尺寸期望与标准偏差的实时数值，结合路径跟踪算法与PID算法对两个特性设计了有效的控制器.
1.2 控制策略本文利用实时图像分析技术获取晶体尺寸期望与标准偏差实时数值，提出了基于反馈的晶体特性控制结构, 如图 2所示.主要由图像分析处理、晶体特性控制器、温度控制器、数学统计分析等模块构成.晶体图像处理模块利用深度学习网络训练出的晶体识别模型对图像采集系统采集到的晶体图片进行实时图像分割，对识别到的每组图片中的晶体计算其尺寸，并经统计创建晶体尺寸集.对晶体尺寸集进行数学统计分析，可以得到相应的实时尺寸期望与标准偏差数据，晶体特性控制器根据给定值与实际值之间的误差确定下一时刻的设定温度，以实现尺寸期望与标准偏差对给定值的实时跟踪.
图 2(Fig. 2)

图 2 结晶过程晶体特性控制策略图Fig.2 Control strategy chart of crystal characteristics in crystallization process

2 晶体特性的在线测量在本文控制策略中，首先需要实现晶体特性数据的在线测量.传统的图像处理方法面临诸多的困难与挑战，为此本文通过采用深度学习来实现对晶体颗粒的实时检测与提取.Mask R-CNN^[6]是一种典型的深度学习神经网络，可对所采集到的原始图像进行目标检测与分类、语义分割、实例分割等多种不同的任务，是一个两阶段的多任务深度神经网络.Mask R-CNN结合了完全卷积网络(fully convolutional network, FCN)和特征金字塔网络(feature pyramid network, FPN)的思想，在Faster-RCNN的基础上增加了FCN分支用于生成对应的掩码(Mask).首先，深度残差网络(ResNet101)和FPN组成Mask R-CNN的主干网络用来提取图像的特征图；然后，使用区域建议网络(RPN)生成包含目标对象的最优目标框；最后，在筛选出感兴趣区域(ROI)基础上，在每个ROI上应用完全卷积网络，并且预测二进制分割掩码.本文用到的Mask R-CNN实例分割算法的具体执行流程包含以下步骤：①对训练样本进行预处理；②将训练样本输入到一个训练好的ResNet101网络中，以获取对应的特征图；③预设定ROI个数，并对特征图中的每个点进行ROI个数的预设定，以此来获得多个候选ROI；④将候选ROI输入到RPN网络进行背景二值分类，并通过边界框回归筛选出一部分ROI进行ROIAlign操作；⑤将筛选出的ROI进行N类别分类以及边界框回归操作，最后通过FCN生成相应的掩码.具体的Mask R-CNN的抽象网络结构如图 3所示.
图 3(Fig. 3)

图 3 Mask R-CNN抽象网络结构Fig.3 Mask R-CNN abstract network structure

本文所提出的基于Mask R-CNN的晶体图像实时分析方法流程如图 4所示.首先，获取结晶过程各个阶段已标注的晶体图像创建训练集.然后，将训练集输入深度学习网络进行离线训练，得到训练好的网络权值模型.之后，利用训练好的网络模型对实时成像系统采集的原始图像进行处理，得到被分割后的晶体图像掩码，为方便计算使用目标框的长和宽平均像素值之和作为晶体的一维特征尺寸.最后，将一组图片的晶体尺寸信息经过数学统计分析之后得到晶体的尺寸期望与标准偏差数据.
图 4(Fig. 4)

图 4 基于Mask R-CNN的晶体图像实时分析流程Fig.4 Real time analysis process of crystal image based on Mask R-CNN

3 晶体特性的在线反馈控制本文所研究的晶体特性控制过程是通过单输入变量(温度)来控制两输出特性变量(晶体尺寸期望和标准偏差)，故一般的控制器不易控制该过程.针对此问题，本文将路径跟踪算法与PID相结合^[17]，设计了一种有效的在线反馈控制器，用以实现晶体尺寸期望和标准偏差的在线控制.
3.1 路径跟踪算法路径跟踪的概念是从机器人研究中获得的，例如轮式机器人在平面中跟随预设路径完成运动.本文将路径跟踪算法的基本思想应用到冷却结晶过程中的晶体尺寸期望以及标准偏差的跟踪控制中，图 5为具体的算法示意图.图中M，S分别表示尺寸期望与标准偏差，给定晶体群的初始状态点A(其中M₀, S₀分别为初始的尺寸期望和标准偏差)以及晶体群的目标状态点B(其中M_set, S_set分别为尺寸期望和标准偏差的目标值)，点A与点B之间的路径形成一条参考路径.控制问题演变为实时的尺寸期望与标准偏差所构成的坐标状态点C(其中M(t), S(t)分别为实时的尺寸期望与标准偏差)与点A所形成的实时路径，不断地去靠近参考路径.通过控制实时路径，最终控制点C到达目标点B，即实时尺寸期望与标准偏差稳定于目标值.
图 5(Fig. 5)

图 5 路径跟踪控制算法示意图Fig.5 Schematic diagram of path tracking control algorithm

3.2 在线反馈控制器设计由上文并结合图 5可以得到在晶体尺寸和形状空间中实时路径与参考路径的横向偏差，定义为

(6)

式中：(M(t), S(t))和(M′(t), S′(t))是在t时刻参考路径上接近点C的两点.该偏差的定义意味着如果点C位于参考路径上方，则e(t) < 0，反之亦然.为了使误差最小即可以跟踪上参考路径，设计比例积分(PI)控制器使e(t)尽可能接近零，如式(7)所示：

(7)

式中：u(t)为控制器的输入变量；k_p和τ_I分别为比例增益和积分时间常数；t₀为初始时刻.
4 明矾冷却结晶实验验证实验中使用的实验原料是明矾(十二水合硫酸铝钾)，对其冷却结晶过程中的晶体特性进行在线反馈控制.实验是在2 L的冷却间歇式结晶器中进行的，结晶器中溶液的均匀混合通过一个可变速的桨叶搅拌器实现.整个在线控制系统主要由2台工控机组成.其中1台工控机使用在线成像仪器实时观察和记录结晶过程，使用的在线成像仪器是CCD摄像系统.另1台工控机是整个系统的主控机，内含自主开发的基于MATLAB的晶体特性控制软件.该软件可以通过R485接口以及共享文件的方式进行接收和发送数据.为了准确地控制温度，使用了德国Lauda公司生产的增强型恒温控制器，其中冷凝器通过循环水流来维持结晶器中的温度，并且可以将结晶器中的溶剂损失降至最低.冷却间歇式结晶器中的温度使用铂电阻温度计(PT100)进行测量，以便可以准确地读取温度.
在实验进行阶段，选取蒸馏水1 500 g，以及阿拉丁公司生产的高纯度明矾165 g，搅拌器转速设定为130 r/min，以使溶液均匀混合.在开始晶体特性在线控制之前，采用传统的开环控制方法使系统接近晶体特性设定点的渐近区域.首先，通过恒温控制器使结晶器内快速升温至35 ℃，并保持35 min直至溶质完全溶解.然后，快速降温至20 ℃并保持10 min，以0.1 ℃/min的降温速率冷却至19 ℃，此时溶液为19 ℃的过饱和溶液.同时，取研磨均匀的晶种7 g加入结晶器中，并在19 ℃下保持10 min，完成晶种的熟化过程.最后，以0.1 ℃/min的降温速率进行线性降温.
在线性降温过程中，使用在线成像软件实时观察溶液中晶体的变化，当溶液中出现大面积明显的细小晶体时，通过工控机中的控制软件设置参数k_p为0.07，τ_I为0.1，并设定目标尺寸期望为470 μm，标准偏差为173 μm，同时向恒温控制器发送停止线性降温指令，开始晶体特性的在线反馈控制.本实验中控制周期为10 min，即每10 min取100张图片进行图像分析处理，从而得到对应晶体特性的实时数据.此时，晶体特性控制器会运行已设计好的控制算法，向恒温控制器输入下一时刻的设定温度，并发送设定温度的指令.通过对冷却结晶过程中温度的实时控制，实现了晶体尺寸期望与标准偏差的在线反馈控制.当实时尺寸期望与标准偏差基本稳定在目标值附近时, 便结束整个在线控制过程.
在本实验的在线测量方面，图像采集周期为1 s，图像经Mask R-CNN网络识别处理的结果如图 6所示.Mask R-CNN将原始图像(图 6a)填充并调整为1 024像素宽的正方形.经过处理后，掩码分支产生与输入图像具有相同空间大小的二值图像，其中晶体与二值图像的背景分离，如图 6b所示.二值图像与类分支和框分支的输出相结合，结果如图 6c所示，可见实现了对晶体的准确分割识别.因此，可以利用像素级图提取和计算晶体的相关参数，从而完成对晶体尺寸期望以及标准偏差的在线测量.
图 6(Fig. 6)

图 6 基于Mask R-CNN的图像处理结果Fig.6 Image processing results based on Mask R-CNN (a)—原始图像；(b)—掩码输出；(c)—最终输出.

明矾晶体特性在线反馈控制实验结果如图 7~图 9所示.图 7描述了明矾晶体尺寸期望和标准偏差的实时变化，可以看出随着控制效果渐趋稳定，实时的尺寸期望和标准偏差逐渐逼近目标值.在实验进行到160 min时，两种特性均到达预期目标值.图 8描述了晶体特性控制器输出的结晶器设定温度，从图中也可以看到，为了使实时的明矾晶体尺寸期望与标准偏差跟踪目标值，晶体特性控制器通过输出设定温度值来控制结晶器内的温度，通过不断地升温或降温来实现跟踪控制.图 9为最后一次控制周期中实时粒度分布曲线与目标粒度分布曲线的对比效果，从图中可以看出，通过晶体特性在线控制算法的控制，实时粒度分布曲线基本逼近目标粒度分布曲线.
图 7(Fig. 7)

图 7 尺寸期望与标准偏差变化情况Fig.7 Changes in size expectations and standard deviations

图 8(Fig. 8)

图 8 结晶器设定温度变化趋势Fig.8 The change trend of the set temperaturein crystallizer

图 9(Fig. 9)

图 9 最后一次控制周期输出粒度分布曲线与目标曲线Fig.9 Comparison of output particle size distribution curve and target curve in the last control cycle

5 结论本文以晶体冷却结晶过程的晶体尺寸期望和标准偏差为控制目标，提出了一种基于深度学习图像分析的在线反馈控制方法.该方法可以处理单输入两输出的结晶过程控制问题，由于不需要建立结晶过程机理模型，易于进行工业实验和应用.本文以明矾为结晶材料在冷却结晶实验装置上进行了实验研究，实验结果说明了所提方法的有效性，实现了晶体尺寸期望和标准偏差的反馈控制.本文所提出的方法为晶体特性的实时表征提供了新的研究方向.
参考文献

[1]	赵绍磊, 王耀国, 张腾, 等. 制药结晶中的先进过程控制[J]. 化工学报, 2020, 71(2): 459-474. (Zhao Shao-lei, Wang Yao-guo, Zhang Teng, et al. Advanced process control in pharmaceutical crystallization[J]. CIESC Journal, 2020, 71(2): 459-474.)
[2]	Gao Z G, Rohani S, Gong J B, et al. Recent developments in the crystallization process: toward the pharmaceutical industry[J]. Engineering, 2017, 3(3): 343-353. DOI:10.1016/J.ENG.2017.03.022
[3]	Crowley T, Edward S, Meadows E, et al. Control of particle size distribution described by a population balance model of semibatch emulsion polymerization[J]. Journal of Process Control, 2000, 10(5): 419-432. DOI:10.1016/S0959-1524(00)00017-2
[4]	Nagy Z K, Fevotte G, Kramer H, et al. Recent advances in the monitoring, modelling and control of crystallization systems[J]. Chemical Engineering Research and Design, 2013, 91(10): 1903-1922. DOI:10.1016/j.cherd.2013.07.018
[5]	Ruf A, Worlitschek J, Mazzotti M. Modeling and experimental analysis of PSD measurements through FBRM[J]. Particle & Particle Systems Characterization, 2000, 17(4): 167-179.
[6]	Gao Z G, Wu Y Y, Bao Y, et al. Image analysis for in-line measurement of multidimensional size, shape, and polymorphic transformation of l-glutamic acid using deep learning-based image segmentation and classification[J]. Crystal Growth & Design, 2018, 18(8): 4275-4281.
[7]	Manee V, Zhu W, Romagnoli J A. A deep learning image-based sensor for real-time crystal size distribution characterization[J]. Industrial & Engineering Chemistry Research, 2019, 58(51): 23175-23186.
[8]	Beckman J R, Randolph A D. Crystal size distribution dynamics in a classified crystallizer.Part Ⅱ: simulated control of crystal size distribution[J]. AIChE Journal, 1977, 23(4): 510-520. DOI:10.1002/aic.690230416
[9]	Rawlings J B, Miller S M, Witkowski W R. Model identification and control of solution crystallization processes: a review[J]. Industrial & Engineering Chemistry Research, 1993, 32(7): 1275-1296.
[10]	Hermanto M W, Chiu M S, Braatz R D. Nonlinear model predictive control for the polymorphic transformation of l-glutamic acid crystals[J]. AIChE Journal, 2009, 55(10): 2631-2645. DOI:10.1002/aic.11879
[11]	Mesbah A, Landlust J, Huesman A, et al. A model-based control framework for industrial batch crystallization processes[J]. Chemical Engineering Research & Design, 2010, 88(9): 1223-1233.
[12]	Mesbah A, Nagy Z K, Huesman A, et al. Nonlinear model-based control of a semi-industrial batch crystallizer using a population balance modeling framework[J]. IEEE Transactions on Control Systems Technology, 2012, 20(5): 1188-1201. DOI:10.1109/TCST.2011.2160945
[13]	Ghadipasha N, Romagnoli J A, Tronci S, et al. A model-based approach for controlling particle size distribution in combined cooling-antisolvent crystallization processes[J]. Chemical Engineering Science, 2018, 190: 260-272. DOI:10.1016/j.ces.2018.06.032
[14]	Szilágyi B, Agachi P S, Nagy Z K. Chord length distribution based modeling and adaptive model predictive control of batch crystallization processes using high fidelity full population balance models[J]. Industrial & Engineering Chemistry Research, 2018, 57(9): 3320-3332.
[15]	Nagy Z K, Braatz R D. Advances and new directions in crystallization control[J]. Annual Review of Chemical and Biomolecular Engineering, 2012, 3(1): 55-75. DOI:10.1146/annurev-chembioeng-062011-081043
[16]	Bakar M A, Nagy Z K, Saleemi A N, et al. The impact of direct nucleation control on crystal size distribution in pharmaceutical crystallization processes[J]. Crystal Growth & Design, 2009, 9(3): 1378-1384.
[17]	B?tschi S, Rajagopalan A K, Morari M, et al. Feedback control for the size and shape evolution of needle-like crystals in suspension.Ⅳ: modeling and control of dissolution[J]. Crystal Growth & Design, 2019, 19(5): 2845-2861.