东北大学 机械工程与自动化学院, 辽宁 沈阳 110819
收稿日期：2020-07-24
基金项目：国家重点研发计划项目(2017YFB0304200)；国家自然科学基金资助项目(51805078)；中央高校基本科研业务费专项资金资助项目(N2003021)。
作者简介：张德富(1993-), 男, 河北张家口人, 东北大学博士研究生;
颜云辉(1960-), 男, 江苏丹阳人, 东北大学教授, 博士生导师。
摘要：采用直观、高效的基于机器视觉的检测方式对生产线冷态重轨表面缺陷进行自动化检测.以彩色双目线阵相机作为采集传感器获取深度信息和RGB信息.深度信息用于缺陷快速检测, RGB信息及深度信息用于缺陷分割.然后, 提出一个基于一维卷积网络的深度网络用于缺陷快速检测.该网络主要包括基于一维卷积网络的特征提取器, 由全连接层和Dropout层组成的分类器, 以及加入尺寸先验的滤波器.为了验证所提出的网络性能, 本文搭建了数据采集平台并对重轨样件进行了数据采集.实验结果表明, 本文的快速检测网络在采集的数据上缺陷级检测率为100%, 误检率为35%, 优于对比网络.
关键词：生产线冷态重轨表面缺陷机器视觉深度信息一维卷积网络
Rapid Detection of Cold Heavy Rail Surface Defects of Production Line Based on One-Dimensional Convolution Network
ZHANG De-fu, SONG Ke-chen, NIU Meng-hui, YAN Yun-hui
School of Mechanical Engineering & Automation, Northeastern University, Shenyang 110819, China
Corresponding author: YAN Yun-hui, E-mail: yanyh@mail.neu.edu.cn.
Abstract: An intuitive and efficient method based on machine vision was applied to the automatic detection of cold heavy rail surface defects of production line. Color binocular linear scan camera gathered the depth information and RGB information. Depth information was employed for the rapid detection of defects, and for defect segmentation combined with RGB information. Then a deep learning network was proposed for the rapid detection of defects. The network mainly includes a feature extractor based on one-dimensional convolution network, a classifier composed of full connection layers and dropout layers, and a filter with size prior. Finally, a data acquisition platform was setup and the data of heavy rail samples were collected for the verification of network performance. The results show that the network proposed performs well. The defect-level detection rate is 100% and the false detection rate is 35% on the collected data, which is better than that of the compared networks.
Key words: cold heavy rail of production linesurface defectmachine visiondepth informationone-dimensional convolution network
铁路运输是现代运输的主要方式之一, 2019年全国仅高铁就新增里程超过4 000 km.钢轨表面缺陷不仅会给铁路运输带来噪声, 还可能造成严重的交通事故[1].国内《高速铁路用钢轨》标准于2011年8月开始实施[2].该标准适用于运行速度200 km/h及以上高速铁路所用的规格为60 kg/m的热轧钢轨.60 kg/m钢轨是使用最普遍的一种重轨规格.钢轨生产厂家一直用人工来检测重轨表面缺陷.人工检测效率低, 劳动强度大, 个人主观性强, 不满足自动化生产的要求.
有多种自动化检测方式可进行钢轨探伤, 如涡流探伤[3-4]、超声波探伤[5-6]等.但这些方法中, 超声波探伤只能探测到钢轨内部缺陷, 涡流探伤和漏磁探伤对探测器工作状态敏感, 鲁棒性差[7].基于机器视觉的检测方式, 具有直观、高效的特点, 是一种先进的非接触式无损检测[8].
1 相关工作及原理目前, 基于机器视觉(machine vision)的重轨表面缺陷检测多针对在役重轨[1, 9-10], 在役重轨的表面纹理相对简单, 缺陷的辨识度高, 如图 1a所示.而生产线冷态重轨在冷却过程中发生了复杂的氧化反应, 因此其表面纹理复杂多变, 缺陷的辨识度低, 如图 1b所示.
图 1(Fig. 1)
 | 图 1 重轨RGB图像Fig.1 RGB images of heavy rail (a)—在役重轨；(b)—生产线冷态重轨. |
由于生产线冷态重轨表面纹理的复杂性, 只使用重轨RGB图像作为数据源, 极易造成缺陷的漏检和误检.北京科技大学[11-12]和西南科技大学[13]研究人员采用激光线光源和面阵相机结合的方式获取深度信息(depth information)用于检测.生产线冷态重轨的深度信息比表面纹理信息噪声少, 数据易于处理, 有利于缺陷检测; 同时, 深度信息的采集也比表面RGB图像信息采集更容易, 因此有利于提升数据驱动的深度学习模型的性能.检测重轨缺陷, 一个缺陷对应一个RGB图像采集样本, 但是可以采集到几十甚至上百条深度信息, 这一定程度上更有利于深度学习模型的学习, 其原理如图 2所示.在缺陷数量不足的情况下, 基于RGB图像数据的分类界线无法准确确定.图 2中线1, 2, 3均可在训练数据上得到好的检测效果, 但会有不同的泛化能力, 这会造成模型性能的不稳定, 无法得到可靠的模型参数; 而基于深度数据的分类, 由于少量的缺陷数量就可以获得大量的深度数据, 因此模型可以确定分类界限, 得到可靠的模型参数.
图 2(Fig. 2)
 | 图 2 深度数据和RGB图像数据分类原理图Fig.2 Classification principles of depth data and RGB image data |
但该检测方案的缺点在于丢弃了表面RGB图像信息, 不利于后期的缺陷分割(defect segmentation)和系统性能评估.针对以上方案的不足, 本文采用了彩色双目线阵相机为采集传感器, 同时获取深度信息和表面RGB信息.深度信息用于快速缺陷检测; 深度信息结合表面RGB信息用于后期缺陷分割.此外, RGB信息可用于缺陷的可视化及系统性能的评估改进.
在缺陷检测方案中, 一种方案为通过分割算法实现缺陷的同步检测和分割, 这种方案的分割算法耗时长, 影响算法的实时性.另一种方案为两步检测法, 首先通过快速检测算法实现对缺陷的检测, 然后对存在缺陷的区域进行分割(缺陷分割速率可适当减慢), 得到关于缺陷的详细信息, 如图 3所示(以表面RGB图像检测为例).快速检测算法本质上是一种图像或者信息条分类网络, 相比于像素级分类的分割网络算法, 在检测速度上有天然的优势.本文采用两步检测法.
图 3(Fig. 3)
 | 图 3 缺陷两步检测法流程图Fig.3 Flow chart of two-step defect detection method |
针对基于彩色双目线阵相机为采集传感器的快速检测方案, 本文提出一种基于一维卷积网络(one-dimensional convolution network)的深度网络(网络深度为8), 该网络主要包括特征提取器、分类器、滤波器.特征提取器提取像素行特征向量, 实现深度信息空间到特征空间的映射; 然后, 提取到的特征向量经分类器将行像素划分为正常像素行或者缺陷像素行; 最后, 滤波器加入尺寸先验, 滤掉检测噪声.
为了验证本文的快速检测网络, 搭建了数据采集平台, 采集了带有表面缺陷的60 kg/m重轨踏面的深度信息共18 600条.针对采集的数据进行实验研究, 结果表明, 本文提出的快速缺陷检测(rapid defect detection)网络具有良好的快速检测效果, 缺陷级的检测率为100%, 误检率为35%.
2 检测系统框架本文设计的重轨表面缺陷检测系统主要包括: 数据采集系统、快速检测模块、缺陷分割模块、报警器、检测报告模块.如图 4所示, 数据采集系统主要包括重轨传送装置、编码器、双目线阵相机, 以及双条形光源.快速检测模块主要包括特征提取器、分类器和滤波器.系统检测流程如下:
图 4(Fig. 4)
 | 图 4 生产线冷态重轨检测框架及快速检测网络结构Fig.4 Defect detection framework of cold heavy rail of production line and the architecture of the rapid detection network proposed |
1) 传动装置传送重轨, 同时, 安装于传动装置上的编码器产生触发信号, 触发双目线阵相机采集深度信息和RGB图像信息.通过对编码器触发信号的积分解算等处理可得到重轨位置信号.这些信息被存放在特定的缓存区, 等待进一步处理.
2) 重轨的深度信息被送入快速检测模块.首先, 特征提取器提取像素行特征向量, 实现深度信息空间到特征空间的映射; 然后, 提取到的特征向量经分类器将行像素划分为正常像素行或者缺陷像素行; 最后, 滤波器加入尺寸先验, 将连续缺陷像素行较少的像素块过滤, 将距离近的缺陷像素块合并.
3) 如果快速检测中检测到缺陷像素块, 则发出警报.同时, 对缺陷像素块进行缺陷分割.通过缺陷分割, 可以获得关于缺陷的详细信息, 比如面积、形状等.这些信息可以对产品质量进行更准确的评价, 也可作为工艺改进的参考信息.
4) 将检测结果可视化并生成检测报告.将RGB图像信息实时化显示, 将检测结果通过矩形框的形式添加在图像信息中.在检测报告中对重轨图像、缺陷位置等进行详细阐述.检测报告可用于生产质量评价及生产工艺改进.
3 快速检测网络详述快速检测主要包括特征提取器、分类器、滤波器.特征提取器基于一维卷积网络设计, 实现深度信息空间向特征空间的映射; 分类器由全连接层和Dropout层组成; 滤波器加入尺寸先验, 用于滤掉检测噪声.
3.1 特征提取器特征提取器由6层一维卷积层组成.卷积核的长度统一为3, 小卷积核可降低学习参数量.步长为1, 可使各卷积层保持分辨率不变.将各通道数分别设置为常用通道数64, 128, 256, 其具体设置如表 1所示.表中将具有相同通道数的卷积层视为一个块, 特征提取器共包含4个块.在前4层卷积层添加了Relu函数来增加网络各层之间的非线性关系; 最后一层卷积层的通道数为64, 所采集的每条深度信息包含850个深度数据.因此, 特征提取器获得的特征向量维度为850×64, 可表示为F(850, 64).
表 1(Table 1)
 表 1 特征提取器详细结构Table 1 Architecture of feature extractor
| 表 1 特征提取器详细结构 Table 1 Architecture of feature extractor |
3.2 分类器分类器采用了全连接层和防止过拟合的Dropout层来实现.首先, 将特征提取器获取的特征向量拉伸为一维向量, 即将850×64的二维向量变形(reshape)为54 400的一维向量, 即F54 400=reshape(F(850, 64)), 如图 2的快速检测网络所示; 然后, 使用节点分别为1 024和2的全卷积层实现从54 400维特征向量到2维类别向量的映射.在两层全连接层之间加入防止过拟合的Dropout层, Dropout概率值设置为常用数0.1.
3.3 滤波器滤波器根据检测需求, 加入了尺寸先验, 认为缺陷尺寸最小为5个像素行, 小于100个像素行距离的两个缺陷可视为一个缺陷.因此, 滤波器首先将检测结果中小于5个像素行的缺陷块作为噪声滤去, 然后, 将检测到的缺陷块间隔不超过100的合并为一个缺陷, 得到最后的检测结果.
3.4 网络训练本文提出的网络是一个端到端的深度网络.算法1详细说明了训练过程, 其中w是网络可学习参数.choose_zone(·)将所训练的深度数据图像分成group个组, 然后从每个组中取一条深度信息组成mini-batch.CE(·)为Cross Entropy Loss损失函数.优化器为Adam Optimizer.学习率初始设定为0.000 1, 每5或10个epochs降低1/2.metric(·)为计算预测准确率Acc的函数.网络共被训练160个epochs.在准确率Acc上升且Loss下降的情况下, 模型参数被保存.
?????算法1?网络训练流程：
输入: 深度数据D_train
输出: 训练后的网络Net(.|w)
group←20, epochs←160
for ep in range(epochs)
??for(img, lbl) in enumerate(D_train)
????for start_line in range(img.height/group)
??????step=step+1
??????img, lbl=choose_zone(group)
??????s←Net(img|w)
??????Loss, Acc←CE(s, lbl), metric(s, lbl)
??????w←updata(? Loss /? w)
??Loss, Acc←每个epoch中Loss的平均值, Acc的平均值
??if Acc提高and Loss下降
????保存模型参数
return Net(.|w).
本文实验的硬件环境为CPU Core(TM) i7-7700 QM 3.6 GHz, GPU Nvidia TITAN Xp, 内存8 GB, 显存12 GB. 软件环境为Python3.6, Pytorch1.0.
4 实验研究为了验证本文快速检测网络的性能, 搭建了数据采集平台, 对带缺陷的重轨样件进行数据采集, 利用这些数据进行网络性能评估.选用漏检率和误检率作为评价指标, 分别进行线级(像素行级)和缺陷级的评估.漏检率定义为: 没有检测到缺陷数据数量/缺陷数据数量; 误检率定义为: 将无缺陷数据误判为缺陷数据的数量/判别为缺陷数据的数量.
4.1 数据采集平台数据采集平台主要包括三部分: 双目线阵相机、两个条状光源和移动平台, 如图 5a所示.彩色双目线阵相机采用Chomsens的3DPIXA型相机.移动平台为定制平台, 最大行程为0.9 m, 最大载重量为50 kg.
图 5(Fig. 5)
 | 图 5 数据采集系统Fig.5 Data acquisition system (a)—数据采集平台及其三维图；(b)—重轨样件；(c)—数据采集界面. |
基于上述的数据采集平台, 对带缺陷的60 kg/m重轨样件(图 5b)进行数据采集.如图 5c所示, 主线阵相机和从线阵相机同时进行数据采集, 通过对主从相机的图像解算可得到深度信息图.本文共采集18 600条重轨深度信息, 其中无缺陷深度信息10 480条, 有缺陷深度信息8 120条.深度数据以tiff图片格式存储, 如图 6a所示.同时, 采集了RGB图像信息, 如图 6b所示.对深度信息数据进行线级标注, 对于包含缺陷的像素行标注为白色像素行(像素值为255), 对于不包含缺陷的像素行设置为黑色像素行(像素值为0), 如图 6c所示.
图 6(Fig. 6)
 | 图 6 所采集的数据示例Fig.6 Examples of the data collected (a)—深度数据；(b)—RGB图像；(c)—线级标签. |
4.2 网络性能评估为了验证网络性能, 本文利用采集的数据进行实验研究.11 140条深度信息(4 315条有缺陷和6 825条无缺陷)用于训练网络, 剩余的7 460条信息(3 806条有缺陷和3 654条无缺陷)用于测试.实验结果如表 2所示, 在所采集的测试数据上, 网络缺陷级漏检率为0, 这意味着检测到了所有的缺陷.这一指标可以有效地保证重轨表面不会由于缺陷漏检而带来潜在的危险.网络在测试数据上的缺陷级误检率为35%, 误检率可以由后期的缺陷分割等处理进一步降低.检测结果示例如图 7所示.
表 2(Table 2)
表 2 网络在采集数据上的漏检率和误检率Table 2 Missed and false detection rates of the proposed network on the collected data
| 表 2 网络在采集数据上的漏检率和误检率 Table 2 Missed and false detection rates of the proposed network on the collected data |
图 7(Fig. 7)
 | 图 7 网络检测结果示例Fig.7 Example of detection results of the proposed network (a)—深度数据；(b)—RGB图像；(c)—线级标签；(d)—检测结果. |
4.3 性能对比评估为了进一步评估本文模型的性能, 将本文网络与文献[14]中的网络、文献[15]中的一维Lenet-5和一维AlexNet网络进行对比实验, 结果如表 3所示.从表 3中可以明显看出, 本文网络的误检率稍高于一维Lenet-5和一维AlexNet网络, 但漏检率远远低于一维Lenet-5和一维AlexNet网络.本文认为在检测领域中, 对于一个网络的评估应更注重漏检率.漏检率高意味着会因为缺陷的漏检而存在产品质量问题和潜在的安全风险, 而误检率高可以由后期的缺陷分割等处理进一步降低, 带来的负面影响较小.综合以上, 本文所提出的网络性能整体上优于对比网络.为了直观地说明实验结果, 图 8展示了网络的缺陷级漏检率和误检率的散点图.从图 8也可明显地看出本文网络在漏检率上优越的性能.
表 3(Table 3)
表 3 不同网络在采集数据上缺陷级的漏检率和误检率Table 3 Defect-level missed and false detection rates of different networks on the collected data ?
| 表 3 不同网络在采集数据上缺陷级的漏检率和误检率 Table 3 Defect-level missed and false detection rates of different networks on the collected data ? | |||||||||||||||||||||||||||||||||||||||||||||
图 8(Fig. 8)
 | 图 8 不同网络在所采集的数据上缺陷级漏检率和误检率的散点图Fig.8 Scatter chart of the defect-level missed and false detection rates of different networks on the collected data |
5 结语本文基于彩色双目线阵相机所采集深度信息和RGB信息进行生产线冷态重轨表面缺陷检测.提出了一个基于一维卷积网络的深度网络.该网络主要包括基于一维卷积网络的特征提取器, 由全连接层和Dropout层组成的分类器, 和加入尺寸先验的滤波器.最后, 搭建数据采集平台对60 kg/m重轨样件进行数据采集.在所采集的数据上, 所提出的算法有很好的检测效果, 缺陷级的漏检率为0(该指标可保证重轨不因漏检表面缺陷而带来潜在的危险), 性能明显优于对比网络.
参考文献
| [1] | Yu H, Li Q, Tan Y, et al. A coarse-to-fine model for rail surface defect detection[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(3): 656-666. DOI:10.1109/TIM.2018.2853958 |
| [2] | 张银花, 周清跃, 陈朝阳, 等. 中国高速铁路用钢轨的质量现状及分析[J]. 钢铁, 2011, 46(12): 1-14. (Zhang Yin-hua, Zhou Qing-yue, Chen Zhao-yang, et al. Quality status and analysis of the rail for high-speed railway in China[J]. Iron and Steel, 2011, 46(12): 1-14.) |
| [3] | Gao B, Bai L, Woo W L, et al. Automatic defect identification of eddy current pulsed thermography using single channel blind source separation[J]. IEEE Transactions on Instrumentation and Measurement, 2014, 63(4): 913-922. DOI:10.1109/TIM.2013.2285789 |
| [4] | Zhu J, Min Q, Wu J, et al. Probability of detection for eddy current pulsed thermography of angular defect quantification[J]. IEEE Transactions on Industrial Informatics, 2018, 14(12): 5658-5666. DOI:10.1109/TII.2018.2866443 |
| [5] | Li Y, Trinh H, Haas N, et al. Rail component detection, optimization, and assessment for automatic rail track inspection[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(2): 760-770. DOI:10.1109/TITS.2013.2287155 |
| [6] | Cruz F C, Filho E F S, Albuquerque M C, et al. Efficient feature selection for neural network based detection of flaws in steel welded joints using ultrasound testing[J]. Ultrasonics, 2017, 73: 1-8. DOI:10.1016/j.ultras.2016.08.017 |
| [7] | Gan J R, Li Q Y, Wang J Z, et al. A hierarchical extractor -based visual rail surface inspection system[J]. IEEE Sensors Journal, 2017, 17(23): 7935-7944. DOI:10.1109/JSEN.2017.2761858 |
| [8] | Li Q, Ren S. A visual detection system for rail surface defects[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C(Applications and Reviews), 2012, 42(6): 1531-1542. DOI:10.1109/TSMCC.2012.2198814 |
| [9] | Jin X T, Wang Y N, Zhang H, et al. DM-RIS: deep multimodel rail inspection system with improved MRF-GMM and CNN[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 69(4): 1051-1065. DOI:10.1109/TIM.2019.2909940 |
| [10] | Zhang H, Jin X, Wu Q M J, et al. Automatic visual detection system of railway surface defects with curvature filter and improved Gaussian mixture model[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 67(7): 1593-1608. DOI:10.1109/TIM.2018.2803830 |
| [11] | Zhou P, Xu K, Wang D D. Rail profile measurement based on line-structured light vision[J]. IEEE Access, 2018, 6: 16423-16431. DOI:10.1109/ACCESS.2018.2813319 |
| [12] | 徐科, 杨朝霖, 周鹏, 等. 基于激光线光源的钢轨表面缺陷三维检测方法[J]. 机械工程学报, 2010, 46(8): 1-5. (Xu Ke, Yang Chao-lin, Zhou Peng, et al. 3D detection technique of surface defects for steel rails based on linear lasers[J]. Journal of Mechanical Engineering, 2010, 46(8): 1-5.) |
| [13] | 张华, 赵碧霞, 刘桂华, 等. 双目结构光的钢轨表面缺陷检测系统设计[J]. 自动化仪表, 2018, 39(4): 92-95. (Zhang Hua, Zhao Bi-xia, Liu Gui-hua, et al. Design of rail surface defect detection system based on binocular structure light[J]. Process Automation Instrumentation, 2018, 39(4): 92-95.) |
| [14] | 金列俊, 詹建明, 陈俊华, 等. 基于一维卷积神经网络的钻杆故障诊断[J]. 浙江大学学报(工学版), 2020, 54(3): 467-474. (Jin Lie-jun, Zhan Jian-ming, Chen Jun-hua, et al. Drill pipe fault diagnosis method based on one-dimensional convolutional neural network[J]. Journal of Zhejiang University(Engineering Science), 2020, 54(3): 467-474.) |
| [15] | 谢胜龙, 张为民, 鲁玉军, 等. 基于一维卷积神经网络的房颤智能诊断方法研究[J]. 计量学报, 2020, 41(5): 620-626. (Xie Sheng-long, Zhang Wei-min, Lu Yu-jun, et al. Research on intelligent diagnosis of atrial fibrillation based on one-dimensional convolution neural network[J]. Acta Metrologica Sinica, 2020, 41(5): 620-626.) |
