, 魏希来, 王帅, 戴丽 东北大学 机械工程与自动化学院，辽宁 沈阳 110819
收稿日期：2020-05-15
基金项目：国家自然科学基金资助项目(51875094);中央高校基本科研业务费专项资金资助项目(N2003011)。
作者简介：刘宇(1980-), 男, 宁夏中卫人, 东北大学副教授。
摘要：已有的光纤收卷检测方法的泛化能力和环境适应性均较差，无法应用于工业生产.提出基于深度学习的机器视觉方法对收卷过程中的收卷图像进行分类来解决光纤收卷问题.通过考虑光纤收卷时光纤间力的作用，建立了光纤收卷模型，提出了光纤收卷时排线机构的速度表达式.使用相机采集大量光纤收卷图片形成数据集，搭建并训练神经网络模型用于对收卷情况进行分类.通过实验验证，该方法对间隙状态的识别正确率在94.67%以上，叠线状态识别正确率为100%，检测速度高于实际生产绕线速度，是一种可以和控制系统相结合替代人工收卷并实现自动精密绕线的良好方法.
关键词：光纤收卷深度学习机器视觉缺陷检测自动检测
Machine Vision Automatic Inspection Technology of Optical Fiber Winding Based on Deep Learning
LIU Yu
, WEI Xi-lai, WANG Shuai, DAI Li School of Mechanical Engineering & Automation, Northeastern University, Shenyang 110819, China
Corresponding author: LIU Yu, E-mail: yuliu@me.neu.edu.cn.
Abstract: Existing optical fiber winding inspection methods have poor generalization ability and environmental adaptability, and cannot be applied to industrial production. A machine vision method based on deep learning was proposed to classify the winding images during the winding process to solve the optical fiber winding problem. By considering the effect of the force between the optical fibers when the optical fiber was winding, the optical fiber winding model was established, and the speed expression of the arranging mechanism was proposed when the optical fiber was winding. The camera was used to collect a large number of optical fiber winding pictures to form a data set, and a neural network model was built and trained to classify the winding situation. Experimental verification showed that the accuracy of this method for gap state recognition is over 94.67%, and the accuracy of overlapped line recognition is 100%. The inspection speed is higher than the actual production winding speed. It is a favorable method that can be combined with the control system to replace manual winding and realize automatic precision winding.
Key words: optical fiber windingdeep learningmachine visiondefect detectionautomatic detection
随着光纤的出现，光纤绕线技术已被广泛研究，但由于光纤直径误差、内应力和静电力等会影响排线精度，而这些因素又具有一定的随机性，无法通过控制系统的预先设置而避免，因此需要引入光纤收卷检测系统用以辅助绕线.
已有对光纤收卷检测方法的研究大多是使用传统图像处理技术对光纤的排线状态进行检测.郭晨霞等[1-3]提出一种通过判断光纤环的最小包围矩形个数的方法来判断正常、叠线、间隙和绕制到边等4种情况的检测方法.张万成等[4]提出使用图像识别技术检测光纤绕线的滞后角来实现对排线状态的检测.杨瑞峰等[5]提出通过使用顶点定位法来判断光纤收卷的各种特殊情况.
传统的光纤收卷检测方法有以下缺点：①模型泛化能力差.检测方法依赖于形状、纹理等特征，当光纤因内应力和静电力的作用而产生形变时，检测方法需进行大量修改，甚至失效；②环境适应能力弱.当环境发生改变，检测方法有失效的可能；③成本昂贵.需设计独立的光照设备以使检测的图像特征更为明显.因此，尽管传统的光纤收卷检测方法已提出多年，但仍无法在工业生产中实际应用.
近年来，深度学习在计算机应用领域得到了广泛的研究.Nyalala等[6]提出了一种基于机器学习的计算机视觉方法来预测番茄的质量和体积.Wang等[7]提出了一种基于深度学习的缺陷检测方法，可在不损失准确性的前提下，识别和分类有缺陷的瓶子产品.尽管卷积神经网络已经成功地应用于图像分类的各个领域，但在光纤制备行业的应用仍未出现.
本文将光纤收卷的应用要求和深度学习的算法特点相结合，提出采用基于深度学习的机器视觉方法对收卷过程中的收卷图像进行分类来解决光纤收卷问题.实验结果表明，该方法具有良好的实时识别准确度，且模型泛化能力和适应性均较强，是一种可以和控制系统相结合、替代人工收卷、实现自动精密绕线的良好方法.
1 光纤收卷问题概述1.1 收卷模型收卷过程中，排线机构的横移速度通常是由几个因素共同决定的.收卷模型的侧视模拟图如图 1所示.
图 1(Fig. 1)
 | 图 1 收卷模型模拟图Fig.1 Winding model simulation diagram |
图 1中，ω表示光纤盘的转动速度，D表示光纤盘的直径，d表示光纤直径，v1表示排线机构的横移速度，其方向沿纸面向里或沿纸面向外，v2表示排线机构的吐线速度，其方向沿光纤盘切线方向.光纤径向方向刚度为K，光纤的线密度为ρ，Di表示第i层光纤所形成的圆周直径.
为方便后续计算，本文做出如下假设：
1) 每圈光纤的长度固定，不会因为后圈光纤力的拉力而缩短长度；
2) 上层光纤对下层光纤的压力集中于下层光纤的最高点；
3) 上层光纤在排线过程中始终处于下层两根光纤的夹缝中.
针对满足以上假设的模型，第(n+1)层光纤的直径Dn+1可被表示为
 | (1) |
结合光纤盘运动关系，可得在缠绕第(n+1)层光纤时，光纤盘转动速度ω和排线机构横移速度v1的关系式如式(2)所示，以及光纤盘转动速度ω和排线机构吐线速度v2的关系式如式(3)所示.
 | (2) |
 | (3) |
 | (4) |
1) 排线机构的横移速度过快，导致下一条线在缠绕过程中与上一条线之间出现间隙，即间隙问题的产生.
2) 排线机构的横移速度过慢，导致下一条线在缠绕过程中来不及到达下一位置，而叠放在上一条线上，即叠线问题的产生.
2 基于深度学习的收卷方法本文设计的基于深度学习的收卷系统检测流程图如图 2所示.
图 2(Fig. 2)
 | 图 2 基于深度学习的收卷系统检测流程图Fig.2 Detection flow chart of the winding system based on deep learning |
首先通过硬件设备对收卷进行实时的图像采集，然后将图像传输到计算机中，由计算机对图像进行分析处理并输出结果.若发现存在问题，则报警并将状态指示灯置为特殊颜色.在报警的同时，将检测到的特殊情况通过TCP/IP协议传输给后端控制系统.控制系统根据传输来的信号对排线机构的横移速度做出相应的调整以完成对该情况的自动修复.
2.1 图像采集及标记图像采集使用德国映美精公司的DFK 72BUC02型工业相机和SPACE公司的HF6M-2型的1/2″镜头.相机采集的图像尺寸为640像素×480像素，图像格式为jpg.数据集中图像示例如图 3所示.
图 3(Fig. 3)
 | 图 3 数据集中图像示例Fig.3 Examples of images in the dataset (a)—正常情况；(b)—间隙情况；(c)—叠线情况. |
标记过的图片数据集按照7:1:2的比例分为训练集、验证集和测试集.每张图片所属集合随机分配.集合间没有图片重复，各集合的图片数量如表 1所示.
表 1(Table 1)
 表 1 各集合的图片数量Table 1 Number of images of each set
| 表 1 各集合的图片数量 Table 1 Number of images of each set |
2.2 图像高斯处理及预处理相机使用过程中，常会因光线不足、相机过热等原因，导致采集到的图像有高斯噪声，进而降低检测的可信度和准确性.因此，对采集到的图像进行预处理前需进行高斯处理以抑制噪声影响.本文采用一个核为5×5的高斯滤波器进行高斯处理，输出像素值Ci, j的计算过程为
 | (5) |
 | (6) |
综上，本文先采用高斯处理以完成对图片的降噪处理，再通过其他多种方法，如缩放、旋转等，对采集到的图像进行预处理以增强图片的多样性.
2.3 神经网络特征识别图 4为图片从形成数据集到保存网络模型的完整流程.
图 4(Fig. 4)
 | 图 4 神经网络特征识别的系统流程Fig.4 System flow of neural network feature recognition |
从收卷图像数据集中随机抽取若干张图片形成训练集，再将之输入网络中进行n轮神经网络训练.每轮训练结束后，将验证集输入网络中，记录网络在验证集上的平均损失值和平均正确率以决定是否停止训练.每轮训练中，首先从训练集中随机抽取k张照片形成一个照片批次，对该批次照片依次进行高斯处理和预处理，而后同时输入网络中，进行一次网络内部参数迭代.一次迭代后，再输入下一批次图片进行参数迭代.通过程序设定，每张照片能且仅能进入一个批次，遍历整个训练集即完成一轮训练.需注意的是，若最后一个批次的照片不足k张，则会从训练集中随机抽取照片补足k张.
本文考虑到识别的准确性以及神经网络模型的移动端部署问题，分别搭建了ResNet[8]系列网络和MobileNet[9-11]系列网络作为神经网络训练及最终识别部分的网络.ResNet[8]系列网络提高了神经网络识别的准确度，其包含残差结构，解决了之前的神经网络层数较多而准确度不高的问题.MobileNet[9-11]系列网络则在正确率损失不大的前提下，大大降低了卷积神经网络对硬件运算能力与存储的依赖.
因此，本文最终搭建了以下6种网络模型作为训练用的网络，分别为ResNet-18，ResNet-34，ResNet-50，MobileNet-v1[9]，MobileNet-v2[10]和MobileNet-v3-Small[11].
2.4 深度神经网络的搭建与训练神经网络的搭建是在Python平台上基于百度PaddlePaddle深度学习框架进行编程的，使用机器视觉库OpenCV[12]作为图像处理模块.使用线上百度AI Studio(CPU为8 Cores；GPU为Tesla V100-16 GB)GPU环境进行训练及测试，本地机(CPU为Intel i5-4200U 1.6 GHz；RAM为8 GB) CPU环境进行测试.
本文采用迁移学习来加快神经网络训练速度[13].其方法是Han等[14]提出的将在大数据集上训练好的网络参数作为新网络的初始参数重新开始训练的方法.本文使用的预训练参数是在ImageNet大赛数据集上训练好的网络参数.
学习率和梯度下降算法的选择对神经网络的的训练也尤为重要.学习率的选择决定着神经网络能否收敛到局部最小值以及何时收敛到最小值.梯度下降算法的选择决定着神经网络收敛的速度.本文的梯度下降算法选择使用Adam梯度下降法[15].同时，本文遵循文献[15]中建议的优化器设置，将学习率设置为0.001.
本文将每批次输入神经网络进行训练的照片数量选取为64，即，前文2.3节中的k取值为64.同时，因本文使用了迁移学习，不需要庞大的训练轮数，本文将训练轮数取为200，即，前文2.3节中的n取值为200.
3 实验验证与结果分析3.1 性能指标本文采用平均正确率来检验神经网络的分类准确度.其计算公式为
 | (7) |
3.2 实验结果及分析在对超参数进行设置后，将训练集的图片输入神经网络中进行训练.每轮训练结束后，将验证集输入网络中得到平均损失值和平均正确率如图 5所示.
图 5(Fig. 5)
 | 图 5 各个网络模型训练的平均损失值和平均正确率变化曲线Fig.5 Change curves of average loss value and average correct rate for each network model training (a)—ResNet-18；(b)—ResNet-34；(c)—ResNet-50；(d)—MobileNet-v1； (e)—MobileNet-v2；(f)—MobileNet-v3-Small. |
由图 5可发现：随着训练轮数的增加，验证集在不同神经网络上的平均损失值均在慢慢趋近于0，经过200轮训练后，各神经网络均已收敛.同时，随着训练轮数的增加，验证集在不同神经网络上的平均正确率也在慢慢趋近于100%，故可得出：神经网络未发生过拟合现象.
本文在训练结束后，将测试集输入保存的网络模型中进行预测.测试环境分别为AI Studio在线GPU环境和本地CPU环境，得到结果如表 2所示.
表 2(Table 2)
表 2 不同网络模型的预测结果Table 2 Prediction results of different network models
| 表 2 不同网络模型的预测结果 Table 2 Prediction results of different network models |
表 2中，t1和t2分别表示在AI Studio在线GPU环境下和本地CPU环境下，一张图片自输入程序至输出结果所用的时间.从表 2中可发现：各网络模型在测试集上的正确率均达到了95%以上，说明本文提出的方法的泛化能力和环境适应能力均较强.其中，ResNet-50的识别正确率最高，达到了99.19%，但是其处理时间较长，是其他网络的2~3倍.而处理时间最短的MobileNet-v1的识别正确率又相对较低.
将高斯滤波阶段和图像预处理阶段隔离出来发现：高斯滤波阶段和图像预处理阶段的平均耗时分别为6.78 ms和15.57 ms.因此，相比于CPU环境，GPU环境更适宜作为神经网络处理的环境.实际生产中光纤绕制机的转速为60 r/min，因此，本文提出的采用神经网络作为识别主体的检测系统，无论在CPU环境下还是在GPU环境下，其检测速度均可以满足实时性的要求.
结合收卷实际情况、神经网络的分类正确率和处理时间，本文将ResNet-18和MobileNet-v3-Small在测试集上的分类结果以混淆矩阵的形式表示，如图 6和图 7所示.
图 6(Fig. 6)
 | 图 6 ResNet-18网络模型的混淆矩阵分类结果Fig.6 Confusion matrix classification results of ResNet-18 network model |
图 7(Fig. 7)
 | 图 7 MobileNet-v3-Small网络模型的混淆矩阵分类结果Fig.7 Confusion matrix classification results of MobileNet-v3-Small network model |
通过对混淆矩阵的分析可以发现：①针对叠线情况，神经网络的预测结果与实际情况完全相符，预测的正确率为100%；②针对正常情况，两种神经网络的分类正确率分别为96.47%和97.06%；③针对间隙情况，两种神经网络的分类正确率分别为94.67%和95.33%.故可得出：神经网络可有效判别叠线情况，而对于正常情况和间隙情况，存在一定的误判.将分类失误的照片提取出来，发现这些照片上的光纤均存在较小的间隙，是很容易造成误判的.
通过对误判的照片进行分析后，认为：在正常绕线的过程中，光纤间有可能因为应力作用而产生较小的缝隙，尽管这类照片严格的分类应该是正常，但也允许将此类照片置为间隙的.同时，在排线过程中，光纤由正常转为间隙的过程中，光纤间最初也会出现较小的缝隙，尽管这类照片严格的分类应该是间隙情况，但也允许将此类照片置为正常的.
综上，本文提出收卷检测方法的实时性和正确率均满足实际生产要求，是可以应用在实际光纤生产中的光纤状态检测的.
3.3 光纤收卷智能系统搭建本文在收卷实验的基础上，在Python平台上开发了一个光纤收卷智能软件，其界面如图 8所示.
图 8(Fig. 8)
 | 图 8 光纤收卷智能软件界面Fig.8 Intelligent software interface for fiber winding |
该软件除了有基本的光纤检测功能外，还有人工标定模块用于将当前照片保存到本地并生成对应标签，以及相机调整模块对相机参数进行适时调整.
通过表 2对不同神经网络的分类正确率和处理时间的分析发现：在损失率相差不大的前提下，MobileNet-v3-Small可以大大降低网络对图片的处理时间.因此，本文选择MobileNet-v3-Small模型作为该软件的检测网络.
经测试，该软件在本地机上的最高检测速度可达每分钟600张，而光纤绕制机的转速为60 r/min，满足实际生产检测要求.
4 结语本文提出采用基于深度学习的机器视觉方法对收卷过程中的收卷图像进行分类来解决光纤收卷问题.该方法泛化能力和适应能力强.通过实验验证，该方法对收卷过程中的叠线问题识别正确率为100%，对间隙问题的识别正确率在94.67%以上，且该方法检测速度高于实际生产绕线速度，达到了实时性要求.因此，该方法是一种可以和控制系统相结合替代人工收卷，实现自动精密绕线的有效方法.
参考文献
| [1] | 郭晨霞, 杨瑞峰. 数字视觉精密测量光纤环绕制状态参数[J]. 中北大学学报(自然科学版), 2014, 35(3): 337-341. (Guo Chen-xia, Yang Rui-feng. Parameter measurement of fiber coil winding based on digital vision[J]. Journal of North University of China(Natural Science Edition), 2014, 35(3): 337-341. DOI:10.3969/j.issn.1673-3193.2014.03.021) |
| [2] | 郭晨霞, 杨瑞峰, 张鹏. 光纤环绕制监测图像清晰度评价方法[J]. 兰州理工大学学报, 2016, 42(5): 102-105. (Guo Chen-xia, Yang Rui-feng, Zhang Peng. Evaluation method of image clarity monitoring with fiber coil winding[J]. Journal of Lanzhou University of Technology, 2016, 42(5): 102-105. DOI:10.3969/j.issn.1673-5196.2016.05.020) |
| [3] | 郭晨霞, 杨瑞峰, 赵洛彬. 基于区域的光纤环绕制缺陷实时检测算法[J]. 太原理工大学学报, 2016, 47(2): 190-194. (Guo Chen-xia, Yang Rui-feng, Zhao Luo-bin. The defect detection algorithm of fiber coil winding based on winding region[J]. Journal of Taiyuan University of Technology, 2016, 47(2): 190-194.) |
| [4] | 张万成, 叶泽群. 一种用于光纤精密绕线的视觉识别技术[J]. 电子工艺技术, 2015, 36(3): 172-174. (Zhang Wan-cheng, Ye Ze-qun. A design of visual identification technology for accurate winding of optical fiber[J]. Electronics Process Technology, 2015, 36(3): 172-174.) |
| [5] | 杨瑞峰, 丁清, 郭晨霞, 等. 光纤环绕制缺陷动态检测方法研究[J]. 实验室研究与探索, 2017, 36(10): 36-40. (Yang Rui-feng, Ding Qing, Guo Chen-xia, et al. Research on dynamic detection method of winding defects of optical fiber coils[J]. Research and Exploration in Laboratory, 2017, 36(10): 36-40. DOI:10.3969/j.issn.1006-7167.2017.10.010) |
| [6] | Nyalala I, Okinda C, Nyalala L, et al. Tomato volume and mass estimation using computer vision and machine learning algorithms:cherry tomato model[J]. Journal of Food Engineering, 2019, 263: 288-298. DOI:10.1016/j.jfoodeng.2019.07.012 |
| [7] | Wang J J, Fu P, Gao R X. Machine vision intelligence for product defect inspection based on deep learning and Hough transform[J]. Journal of Manufacturing Systems, 2019, 51: 52-60. DOI:10.1016/j.jmsy.2019.03.002 |
| [8] | He K, Zhang X, Ren S, et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas, 2016: 770-778. |
| [9] | Howard A G, Zhu M, Chen B, et al.MobileNets: efficient convolutional neural networks for mobile vision applications[EB/OL].(2017-04-17)[2019-10-08].https://arxiv.org/abs/1704.04861 |
| [10] | Sandler M, Howard A, Zhu M, et al.MobileNetv2: inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City, 2018: 4510-4520. |
| [11] | Howard A, Sandler M, Chu G, et al.Searching for MobileNetv3[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV).Seoul, 2019: 1314-1324. |
| [12] | Pulli K, Baksheev A, Kornyakov K, et al. Real-time computer vision with OpenCV[J]. Communications of the ACM, 2012, 55(6): 61-69. DOI:10.1145/2184319.2184337 |
| [13] | Tan C, Sun F, Kong T, et al.A survey on deep transfer learning[C]//27th International Conference on Artificial Neural Networks.Rhodes, 2018: 270-279. |
| [14] | Han D, Liu Q, Fan W. A new image classification method using CNN transfer learning and web data augmentation[J]. Expert Systems With Applications, 2018, 95: 43-56. DOI:10.1016/j.eswa.2017.11.028 |
| [15] | Kingma D P, Ba J.Adam: a method for stochastic optimization[EB/OL].(2014-12-22)[2019-10-08].https://arxiv.org/abs/1412.6980. |
