东北大学 智慧矿山研究中心, 辽宁 沈阳 110819
收稿日期：2019-01-16
基金项目：“十二五”国家科技支撑计划项目(2015BAB15B01)；中央高校基本科研业务费专项资金资助项目(N170104017)。
作者简介：柳小波(1980-)，男，辽宁丹东人，东北大学副教授，博士。
摘要：针对传送带矿石图像中矿石粘连和边缘模糊造成的分割不准确问题, 提出了一种基于U-Net和Res_UNet模型的传送带矿石图像分割方法.该方法首先将待分割图像经过灰度化、中值滤波和自适应直方图均衡化处理后, 利用预训练的U-Net模型提取图像轮廓; 然后, 将图像轮廓二值化后, 利用预训练的Res_UNet模型进行轮廓优化; 最后, 利用OpenCV得到分割结果.与基于形态学重建的分水岭算法和NUR法分别对10张测试图进行实验比较, 结果表明, 所提出的利用深度学习实现矿石轮廓检测和优化方法分割的结果更加准确, 证明了其对传送带矿石图像分割的有效性.
关键词：传送带U-NetRes_UNet矿石分割深度学习
Ore Image Segmentation Method of Conveyor Belt Based on U-Net and Res_UNet Models
LIU Xiao-bo, ZHANG Yu-wei
Intelligent Mine Research Center, Northeastern University, Shenyang 110819, China
Corresponding author: ZHANG Yu-wei, E-mail: 422256060@qq.com
Abstract: Aiming at the problem of inaccurate segmentation caused by the adhesion and edge blurring of the ore image in the conveyor belt, a method for ore image segmentation of conveyor belt based on U-Net and Res_UNet models is proposed. Firstly, the image to be segmented is processed by gray-scale, median filtering and adaptive histogram equalization, and then the pre-trained U-Net model is used to extract the image contour. Then, after binary image contour, the pre-trained Res_UNet model is used for contour optimization. Finally, OpenCV is used to obtain the segmentation result. Compared with watershed algorithm based on morphological reconstruction and NUR method for 10 test images, the proposed method for ore contour detection and optimization based on deep learning is more accurate, proving its effectiveness for image segmentation of conveyor belt ores.
Key words: conveyor beltU-NetRes_UNetore segmentationdeep learning
矿石粒度信息作为反应选矿过程中破碎机工作状况的关键指标, 传送带矿石粒度检测的效果好坏对于选矿过程的生产效率起到了决定性作用.早期的矿石尺寸测量是手工测量, 不仅需要大量的人力物力, 而且精度和效率都很低.随着计算机的发展, 基于图像处理的矿石粒度自动检测方法被提出, 作为一种自动化处理手段, 其关键环节就是矿石图像分割.在室外环境采集的传送带矿石图像数据中, 矿石的形状不规则, 堆积密集, 复杂度高, 这些现象为利用机器视觉手段分离矿石颗粒带来了很大的困难.因此, 需要使用一种分割效果好、便于掌握的方法来解决上述问题.近些年来, 许多专家在矿岩图像分割方法上取得了巨大突破.其中以分水岭法及其改进方法[1-4], 阈值分割[5]方法和基于特定理论的分割方法[6-7]为主, 这些方法普遍存在参数设计复杂、分割准确率不高等问题, 解决这些问题, 对于矿山企业具有重要意义.
随着计算机图像处理技术的发展, 应用深度卷积网络实现图像分类, 取得了巨大突破.由于深度学习在图像分类领域的突出表现, 且图像分割可看作像素层面上的二分类问题, 因此可以采用深度学习解决矿石图像分割问题.文献[8]用HED网络实现了对传送带矿石的分割, 对于大块的矿石得到了有效分割, 不过对于中小尺寸的矿石分割准确率不高.因此, 本文针对现有的图像分割方法在处理传送带矿石图像时存在的分割精度低、参数调整复杂和适应性差等问题, 提出了一种基于U-Net[9]和Res_UNet模型的传送带矿石图像分割方法(简称UR法).该方法降低了对图像清晰度的要求, 实现了对传送带矿石图像的准确分割, 并可以自动统计传送带的矿石尺寸和数量.
1 基于U-Net和Res_UNet模型的矿石图像分割1.1 系统描述本文提出的UR法可分为两个阶段, 分别为训练阶段和测试阶段.训练阶段共分两步:第一步, 采集图像制作训练集, 将训练集经过预处理后, 利用U-Net网络对预处理后的图像进行训练; 第二步, 将预处理后的训练集图像, 利用已训练好的U-Net模型验证得到轮廓图, 将训练集得到的所有轮廓图二值化后, 作为Res_UNet网络的训练集.测试阶段是利用训练好的U-Net模型提取测试图像的轮廓区域得到轮廓图, 将轮廓图二值化后, 利用已训练好的Res_UNet模型优化矿石轮廓.最后, 利用OpenCV[10]统计矿石尺寸分布, 实现矿石图像分割, 系统流程图如图 1所示.
图 1(Fig. 1)
 | 图 1 系统流程图Fig.1 System flow chart |
系统流程图描述了UR法的主要步骤, 具体流程:首先, 从露天矿采集传送带作业图像, 利用PhotoShop[11]对其进行人工标注, 将经过灰度化、中值滤波和自适应直方图均衡化处理后的图像及其对应的人工标注图作为训练集.其次, 利用训练集对U-Net网络进行训练, 选择参数最优的模型.利用训练好的U-Net模型验证训练集, 将得到的验证结果二值化后, 作为新的训练集对Res_UNet网络进行训练, 保存参数最优的模型.同时, 将测试图像利用训练后的U-Net网络进行轮廓检测, 得到轮廓图.由于轮廓图中存在欠分割和小孔洞, 不便于统计处理及后续操作.因此, 将轮廓图二值化后, 利用训练好的Res_UNet模型优化轮廓.最后, 利用OpenCV统计矿石颗粒的面积、周长和总数量等信息, 并绘制矿石分割结果图.该方法降低了对图像清晰度的要求和图像噪声的影响, 消除了参数调整的干扰, 在复杂的环境中具有良好的检测效果, 具有很高的实际应用价值.
1.2 网络结构1) U-Net网络.U-Net网络是基于FCN[12]改进得到的一种全卷积网络, 其结构类似于U型, 因此得名为U-Net.与其他的卷积神经网络相比, 该网络所需训练集少、分割精确度高.U-Net网络结构由收缩路径和扩张路径两部分组成，如图 2所示.收缩路径用来获取上下文信息, 扩张路径用以精确定位.左边为收缩路径, 由重复的3×3卷积核和2×2的最大池化层组成, 激活函数使用ReLU, 每次采样后特征通道数加倍.右边为扩张路径, 每步首先使用反卷积将通道数减半, 然后将反卷积后的结果与相应的收缩路径的特征图进行拼接, 再将拼接后的特征图进行2次3×3卷积.扩张路径的最后一层采用1×1卷积核, 将每个2位特征向量映射到网络的输出层.
图 2(Fig. 2)
 | 图 2 U-Net网络结构Fig.2 Structure diagram of U-Net network |
网络结构图中黑色框表示多通道特征图, 框左下角是图像的分辨率, 白色框表示复制得到的特征图, 框顶标表示通道数.该网络采用Sigmoid函数作为神经元激活函数, 使用交叉熵为代价函数, 克服了权重更新过慢的问题, 有效提高了训练过程的速度.
2) Res_UNet网络.Res_UNet是基于ResNet(residual neural network)[13]和U-Net的语义分割模型, 网络结构与U-Net相似.与U-Net网络不同的是, Res_UNet网络将Residual模块(残差模块)加入到U-Net网络中, 这种结构有效克服了由于网络层数加深造成的参数过多和梯度弥散问题.而且, 新的残差学习单元比以前更容易训练, 不仅大大提升了模型的训练速度, 也使得网络可以得到比较少的参数而不损失精度.网络结构图如图 3所示, 其中C Block指Conv Block, I Block指Identity Block, 二者都属于残差模块.BN指Batch Normalization(批标准化), 可以在训练过程中使得每一层神经网络的输入保持相同分布.Conv指Concatenate, 可以在上采样过程中, 将与下采样过程中相同尺寸的特征图拼接起来, 达到更好的重建效果.
图 3(Fig. 3)
 | 图 3 Res_UNet网络结构图Fig.3 Structure diagram of Res_UNet network |
1.3 轮廓检测如图 4所示, 将测试图像经过灰度化、中值滤波和自适应直方图均衡化的预处理后, 降低了图像的噪声, 矿石间隙更加明显, 同时将单通道的灰度图作为训练集和测试图, 也可以降低模型的数据处理量, 提高模型训练速度.U-Net模型实现矿石轮廓检测后, 结果如图 5所示.
图 4(Fig. 4)
 | 图 4 图像处理效果Fig.4 Image processing effect (a)—原始图像；(b)—预处理后的图像. |
图 5(Fig. 5)
 | 图 5 轮廓检测结果Fig.5 Result of contour detection |
1.4 轮廓优化由图 5可以看出, 利用U-Net模型进行轮廓检测后, 基本可以得到矿石区域的轮廓, 但是仍存在边界不连续和过分割等问题.为进一步精确分割结果, 需要对该轮廓进行优化.轮廓优化是将提取的区域轮廓, 经过孔洞填充、边缘补齐后, 得到闭合且更加准确的矿石区域轮廓.
针对图像过分割问题, 解决的算法有多种, 但是参数调整复杂且效果一般.本文采用深度学习实现轮廓优化.测试图像经过预训练的U-Net模型验证得到轮廓图后, 利用预训练的Res_UNet模型优化轮廓图中的矿石轮廓.轮廓优化结果如图 6所示.
图 6(Fig. 6)
 | 图 6 轮廓优化结果Fig.6 Result of contour optimization |
1.5 连通区域标记为了进一步得到图像中矿石颗粒的数量、面积、最小外接矩形等参数, 需要标记优化后的轮廓图像的连通区域.本文利用OpenCV实现对矿石轮廓的连通域标记.
1) 设定阈值为0.3, 将优化后的轮廓图二值化, 得到二值化轮廓图.利用OpenCV的相关算法获取二值化轮廓图的参数：利用findContours算法, 查找轮廓图中的所有轮廓; 利用boundingRect算法得到每一个轮廓的最小外接矩形; 利用contourArea算法得到每一个轮廓的面积A; 利用arcLength算法得到每一个轮廓的周长L.
2) 设置4个参数, 分别是K, Num, A1和A2, 令这4个参数的初始值为0.由于新轮廓图的矿石区域含有小孔洞、杂点和传送带区域干扰, 为了进一步提高连通阈标记的准确度, 提高矿石颗粒尺寸检测精度, 需要设置轮廓筛选条件.通过对K值的限定, 可以排除传送带区域对矿石区域检测的影响, A值的区域限定可以剔除小孔洞和细小矿石对统计轮廓参数的干扰.
 | (1) |
 | (2) |
 | (3) |
3) 如果任意轮廓同时满足A1 < A < A2和K < 6这两个条件, 则令Num=Num+1, 同时保留该轮廓的最小外接矩形的长、宽及轮廓面积.利用OpenCV的drawContours算法将该轮廓绘制出来, 可以得到分割结果图, 且Num为最终统计得到的矿石轮廓数量.上述条件的设置, 可以更加准确地提取到矿石区域的轮廓, 大大提高了矿石颗粒检测的准确度.同时, 也可以得到测试图像中矿石颗粒的数量, 以及每个矿石颗粒的面积、周长和最小外接矩形的长和宽.
2 实验U-Net网络的轮廓检测实验和Res_UNet网络的轮廓优化实验, 都是在深度学习框架Tensorflow和Keras下进行的.网络模型由GPU与Geforce GTX 1060 6GB进行训练, 结合Python 3.6环境下OpenCV图像处理库, 对网络模型进行连通区域标记和矿石尺寸统计的编程.
2.1 图像数据集的准备为解决传送带的矿石图像粘连和复杂度高造成的分割不准确问题, 同时在保证图像分割准确的同时, 降低对图像清晰度的要求, 本文从露天矿采集多变环境下传送带作业视频, 并按帧分解成图片.这种图片与普通拍摄的图片相比, 清晰度更低, 模糊度更高, 符合现场实际情况.
1) 由于不同角度的矿石图像会呈现出不同的矿石尺寸大小, 而且矿石品位和光照条件的不同也会导致矿石表面颜色的变化, 为验证UR法对于多变环境下的传送带矿石分割效果，本文从多角度采集矿石表面颜色不同的传送带作业视频，如图 7所示.
图 7(Fig. 7)
 | 图 7 不同品位和不同角度的矿石图像Fig.7 Ore images with different grades and angles |
2) 采集得到的图像原始尺寸是1 920像素×1 080像素.为降低训练集的复杂度, 提高训练速度, 首先从图像中选取互不包含重叠区域的39张图像, 其中29张作为训练集, 10张作为测试集.将训练集中的图像经过预处理后, 作为样本集.然后, 裁剪得到样本集图像中含矿石的区域, 将图像插值并调整到960像素×480像素, 最后, 利用PhotoShop软件手工绘制矿石颗粒的边缘线, 制作标签集.将样本集及其相对应的标签集组合成训练集1.
3) 将训练集1经过预训练的U-Net模型进行轮廓检测得到29张轮廓图后, 令阈值为0.3, 将概率图二值化后得到的29张二值图及其相对应的标签集组合成训练集2.U-Net网络的训练样本总数为725 000个, 训练样本是从训练集1中的29张图片随机截取得到, 平均每张图片截取25 000个样本, 每个样本尺寸是48像素×48像素.Res_UNet网络的训练样本总数是29 000个, 训练样本是从训练集2中的29张图片随机截取得到, 平均每张图片截取1 000个样本, 每个样本尺寸是240像素×240像素.
2.2 模型训练利用训练集1和训练集2分别对U-Net模型和Res_UNet模型进行训练, 其训练参数如表 1所示.“batch_size”表示每次迭代的图像数量, “epochs”表示样本中所有样本数据被计算的次数.“imgs_train”表示训练样本总数.“Resolution”表示图像训练样本的分辨率.实验采用随机梯度下降法.U-Net模型训练耗时约85 h, Res_UNet模型训练耗时约9 h.
表 1(Table 1)
 表 1 模型训练参数Table 1 Model training parameters
| 表 1 模型训练参数 Table 1 Model training parameters |
2.3 性能指标为实现对图像分割算法的客观评价, 本文构建数学模型测试分割算法精度.将经过算法处理后得到的分割结果图与人工描边图分别二值化, 使得图像中每个轮廓的内部像素为1, 其余部分的像素为0, 令分割结果的二值图为算法图, 人工描边图的二值图为标准图.本文采用两个性能指标用于对分割算法进行评价, 即精确率(Precison)、召回率(Recall)和准确率(Accuracy).其定义为
 | (4) |
 | (5) |
 | (6) |
2.4 实验结果为了验证UR法的有效性, 采用基于形态学重建的分水岭法、省去Res_UNet轮廓优化的UR法(简称NUR法)和UR法分别验证测试集的10张图片, 得到每张图片与上述三种方法分别对应的性能指标(表 2), 并绘制P-R曲线图(图 8).
表 2(Table 2)
表 2 三种方法的性能指标Table 2 Performance indicators of three algorithms
| 表 2 三种方法的性能指标 Table 2 Performance indicators of three algorithms | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
图 8(Fig. 8)
 | 图 8 P-R曲线图Fig.8 P-R curves graph |
同时, 图 9~图 10展示了不同方法对测试集中的两张具有不同图像采集角度、不同矿石表面颜色图片的分割效果.
图 9(Fig. 9)
 | 图 9 图 1分割结果Fig.9 Segmentation results of image 1 (a)—原图像；(b)—NUR法；(c)—基于形态学重建的分水岭算法；(d)—UR法. |
图 10(Fig. 10)
 | 图 10 图 2分割结果Fig.10 Segmentation results of image 2 (a)—原图像；(b)—NUR法；(c)—分水岭算法；(d)—UR法. |
从图 8的P-R曲线图和表 2的性能指标数据中可以看出, UR法曲线完全包住了另外两条曲线, 所以UR法的泛化性能更好, 且分割准确率和精确率更高.
同时, 从图 9和图 10可以看出, 在复杂环境下, 基于形态学重建的分水岭算法, 需要对开闭重构结构要素的大小不断调试, 找到最优值, 而且对矿石边缘的分割结果不好.NUR法虽然能够较准确地提取矿石轮廓, 不过对模糊边缘的分割效果仍不是很理想.UR法不涉及参数的调试, 分割传送带矿石图像的效果更好.
3 结语针对传送带作业图像中矿石分布不均、矿石边缘模糊和粘连严重的特点, 本文提出了基于U-Net和Res_UNet模型的传送带矿石图像分割方法, 即UR法.将基于形态学重建的分水岭算法、NUR法和UR法应用于10张传送带作业图像, 进行矿石分割效果比较, 实验结果表明UR法基本排除了传送带区域对分割矿石图像造成的影响, 降低了对于图像清晰度的要求, 避免了传统图像分割方法存在的参数调整问题, 对矿石模糊边缘的分割效果较好, 证明了其对传送带矿石图像分割的有效性.因此, UR法是一种可以应用于矿山实际作业环境下的传送带矿石图像分割方法.
参考文献
| [1] | Zhang G Y, Liu G Z, Zhu H. Segmentation algorithm of complex ore images based on templates transformation and reconstruction[J].International Journal of Minerals Metallurgy and Materials, 2011, 18(4): 385–389.DOI:10.1007/s12613-011-0451-8 |
| [2] | Amankwah A, Aldrich C.Automatic ore image segmentation using mean shift and watershed transform[C]//Proceedings of 21st International Conference Radioelektronika.Brno, 2011: 1-4.https://www.researchgate.net/publication/252013551_Automatic_ore_image_segmention_using_mean_shift_and_watershed_transform |
| [3] | Done K, Jiang D L. Automated estimation of ore size distributions based on machine vision[J].Lecture Notes in Electrical Engineering, 2014, 238: 1125–1131. |
| [4] | Wang R X, Zhang W C, Shao L Z.Research of ore particle size detection based on image processing[C]//Proceedings of 2017 Chinese Intelligent Systems Conference.Mudanjiang, 2017: 505-514.https://link.springer.com/chapter/10.1007/978-981-10-6499-9_48 |
| [5] | Zhang G Y, Liu G Z, Zhu H, et al. Ore image thresholding using bi-neighbourhood Otsu's approach[J].Electronics Letters, 2010, 46(25): 1666–1668.DOI:10.1049/el.2010.2962 |
| [6] | Malladi S R S P, Ram S, Rodriguez J J.Superpixels using morphology for rock image segmentation[C]//2014 Southwest Symposium on Image Analysis and Interpretation.San Diego, 2014: 145-148.https://www.researchgate.net/publication/269308742_Superpixels_using_morphology_for_rock_image_segmentation |
| [7] | Yang G Q, Wang H G, Xu W L, et al. Ore particle image region segmentation based on multilevel strategy[J].Chinese Journal of Analysis Laboratory, 2014, 35(24): 202–204. |
| [8] | Yuan L, Duan Y Y.A method of ore image segmentation based on deep learning[C]//Lecture Notes in Computer Science.Wuhan, 2018: 508-519.https://link.springer.com/chapter/10.1007/978-3-319-95957-3_53 |
| [9] | Ronneberger O, Fischer P, Brox T.U-Net: convolutional networks for biomedical image segmentation[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention.Munich, 2015: 234－241.https://link.springer.com/chapter/10.1007/978-3-319-24574-4_28 |
| [10] | 苏慧娟, 于正林, 张桂林. 基于OpenCV的图像处理[J].科技资讯, 2014, 12(8): 18–19. ( Su Hui-juan, Yu Zheng-lin, Zhang Gui-lin. Image processing based on openCV[J].Science & Technology Information, 2014, 12(8): 18–19.DOI:10.3969/j.issn.1672-3791.2014.08.010) |
| [11] | 崔春莉. Photoshop软件在图像分析中的应用[J].电脑开发与应用, 2012, 25(12): 83–85. ( Cui Chun-li. Application of photoshop software to image analysis[J].Computer Development & Applications, 2012, 25(12): 83–85.DOI:10.3969/j.issn.1003-5850.2012.12.028) |
| [12] | Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640–651.DOI:10.1109/TPAMI.2016.2572683 |
| [13] | He K M, Zhang X Y, Ren S Q, et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas, 2016: 770-778.https://ieeexplore.ieee.org/document/7780459 |
