, 曹旺1, 李时2 1. 东北大学 资源与土木工程学院，辽宁 沈阳 110819;
2. 沈阳城市建设学院 土木工程学院，辽宁 沈阳 110167
收稿日期：2022-03-14
基金项目：国家自然科学基金资助项目(52074064); 国家重点研发计划项目(2016YFC0801602)。
作者简介：毛亚纯(1966-), 男, 辽宁本溪人, 东北大学教授。
摘要：矿石图像分割效果受光照条件、目标密集性及边缘对比度低等因素制约，致使大块率统计精度偏低.为此以鞍千矿爆破矿石图像为数据源，首先利用双边滤波算法去除特征增强后的图像噪声，然后分别采用自适应阈值算法和整体嵌套边缘检测(holistically-nested edge detection，HED)算法初步分割矿石图像，再利用形态学和去除连通域算法去除因矿石表面纹理形成的分割孔洞，进一步融合两种分割结果，引入基于距离运算的分水岭算法消除矿石图像欠分割现象，最终实现矿石图像的优化分割.研究结果表明，该方法可有效提高爆破矿石图像分割准确性，实现露天矿爆破大块率精确统计，为爆破效果智能评价提供技术支持.
关键词：爆破大块率矿石图像分割HED算法自适应阈值算法分水岭算法
Bulk Rate Statistical Method Based on an Optimised Algorithm for Blasted Ore Image Segmentation
MAO Ya-chun1, FAN Shuo1
, CAO Wang1, LI Shi2 1. School of Resources & Civil Engineering, Northeastern University, Shenyang 110819, China;
2. School of Civil Engineering, Shenyang Urban Construction University, Shenyang 110167, China
Corresponding author: FAN Shuo, E-mail: 1394941279@qq.com.
Abstract: The ore image segmentation effect is limited by factors such as lighting conditions, targets density and low contrast of edges, resulting in low statistical accuracy of the bulk rate. Anqian Mine blasted ore image was used as the data source, firstly the bilateral filtering algorithm was used to remove the feature-enhanced image noise, then the adaptive thresholding algorithm and HED (holistically-nested edge detection) algorithm were used to initially segment the ore image, and then the morphology and connectivity removal algorithm were used to remove the segmentation hole formed by the texture of the ore surface. The results were further fused and a distance-based watershed algorithm was introduced to eliminate the under-segmentation of the ore image, and finally the optimal segmentation of the ore image was achieved. The results show that the proposed method can effectively improve the accuracy of blasted ore image segmentation, achieve accurate statistics of blasting bulk rate in open pit mines, and provide technical support for intelligent evaluation of blasting effects.
Key words: blasting bulk rateore image segmentationHED (holistically-nested edge detection) algorithmadaptive thresholding algorithmwatershed algorithm
近年来，“智慧矿山”概念被提出并不断发展，露天矿开采过程的自动化、智能化程度成为智慧矿山建设的主要研究方向[1].由于露天矿矿岩爆破效果的实时精确评价是其开采过程中的关键环节[2]，而爆破大块率又是评价爆破效果的重要指标，因此实时快速准确自动地统计爆破大块率对评价爆破效果、优化爆破参数、降低损失贫化率、提高矿山效益具有重要的现实意义[3].传统大块率统计方法多依赖目视估算、人工称量等方式，虽具有一定的统计效果，但该方法受人工主观因素影响较大，准确性和自动化程度较低，且存在较大的安全风险.
基于计算机视觉的图像分割算法具有自动化程度高、精准、高效等优势，因此已在医学图像处理[4]、卫星遥感[5]和矿石图像分割等领域取得广泛应用.早期的图像分割方法主要应用于医学图像处理领域，通常利用阈值限制的方法实现像素级别的分割精度.随着分割场景的复杂化、多样化，陆续出现基于边缘[6]、区域[7]、聚类[8]、图论[9]和特定理论[10]等图像分割方法.尤其将深度学习引入到图像分割领域之后，如：FCN，SegNet，PSPNet，Deep Lab，Mask R-CNN[11]等算法，使图像分割问题取得突破性进展.
在矿石图像分割领域，因露天矿场景的复杂性，利用传统图像分割方法难以准确提取目标矿石，因此，众多****提出了诸多改进优化的矿石图像分割算法.其中Zhan等[12]采用Retinex多尺度颜色恢复算法消除因光照引起的矿石图像表面阴影，通过选取最优阈值，实现了矿石图像的有效分割.然而，该方法不能有效避免因矿石图像中目标矿石的密集性和边缘对比度低导致的欠分割问题，为此，Ning等[13]利用改进的Harris角点检测算子检测角点，匹配最优凹点对，有效避免矿石图像分割的欠分割现象；宁志刚等[14]基于最大间类后验交叉熵的PCNN图像分割算法有效解决堆浸铀矿石图像分割结果的欠分割现象；Zhang等[15]结合自适应阈值算法和分水岭算法，提出了一种基于模板变换重构的矿石图像分割算法，实现矿石图像中大部分目标的精确标记和分割，有效解决了矿石图像分割结果的欠分割问题.然而传统分水岭算法存在过分割现象，基于此，Zhang等[16]提出基于距离变换和形态学重构的标记分水岭算法，取得了较好的结果，但是仍存在因目标矿石与背景特征相似而导致的误分割现象.随着露天矿智能化程度不断提升，上述图像分割算法的精度难以满足露天矿爆破大块率实时统计的要求.为此，部分****引入了改进的深度学习网络实现矿石目标的准确分割[17-18]，然而该方法具有较大的计算量和较高的硬件要求，且受环境因素影响较大，通常要求矿石影像具有统一的采集背景，否则分割精度将会大大降低，因而存在较大的时间滞后性，无法满足露天矿复杂环境下爆破大块率实时统计的要求.尽管近期发展的基于计算机视觉图像的大块率统计方法[19]能够消除人工主观干扰和降低安全风险，自动化程度较高，但在露天矿爆破大块率实时统计应用中其准确性受光照条件、矿石图像目标密集性及边缘对比度低等因素影响较大，因此如何实现爆破矿石图像中矿石目标的优化分割是保障大块率实时统计精度的重要前提.
为此，本文提出了一种基于露天矿爆破矿石图像分割优化算法，该方法具有处理速度快和精度高等优点，可有效提高爆破矿石图像分割准确性，实现露天矿爆破大块率精确统计，为爆破效果智能评价提供技术支持.
1 露天矿试验场和定标装置本文选择鞍千矿爆破区域，以无人机大疆精灵4搭载相机拍摄的矿石图像为数据源开展研究，矿区位置如图 1所示.无人机搭载相机镜头为FOV 94° 20 mm，影像传感器为1/2.3英寸(1英寸=25.4 mm)CMOS，影像分辨率为4 864像素×3 648像素，快门范围为1/8 000~8 s.由于矿石在二维成像过程中会丢失三维坐标信息，图像中仅记录像元坐标信息，因此试验设计六边形白板为定标装置，进而获取图像定标比例k以计算矿石实际尺寸，通过测量可得，白色定标装置实际面积为374.1 cm2，在拍摄的矿石图像中，白色定标装置占有16 998个像素点，计算得定标比例k为45.4个像素点/cm2.
图 1(Fig. 1)
 | 图 1 矿区位置图Fig.1 The mining location map |
2 方法与原理2.1 双边滤波方法在传感器CMOS采集图像过程中，由于矿区复杂环境下光照条件辐射不均，致使获取的矿石图像包含一定的噪声，多以高斯噪声为主.噪声的存在大大降低了分割效率和精度，因此为使矿石图像实现优化分割，引入了双边滤波方法去除图像噪声，该算法的原理如图 2所示.
图 2(Fig. 2)
 | 图 2 双边滤波算法原理图Fig.2 Schematic diagram of bilateral filtering algorithm |
双边滤波方法通过结合空间核域和像素核域以消除矿石图像表面噪声.具体为
① 以图像中某邻域中心像素p点为例，利用p的像素值与其邻域内像素值可计算p点的空间核域Gs(p)和像素核域Gr(p)，如式(1)、式(2)所示，再将两者相乘即为p点的特征值Wp，如式(3)所示，利用该规则依次计算图像内各点的特征值.
② 利用p点邻域内各点的特征值与其像素值的乘积除以该邻域内特征值的和，即为p点空间核域与像素核域作用后的像素值I′(p)，如式(4)所示.
 | (1) |
 | (2) |
 | (3) |
 | (4) |
2.2 图像分割方法1) 自适应阈值算法.自适应阈值算法根据图像不同区域亮度分布，计算其局部阈值，完成图像二值化运算，其具体原理如图 3所示.
图 3(Fig. 3)
 | 图 3 自适应阈值算法原理图Fig.3 Schematic diagram of adaptive threshold algorithm |
以(x, y)为中心的滑动窗口为例，首先计算该滑动窗口内的均值μxy和标准差σxy，如式(5)和式(6)所示，然后利用式(7)计算该窗口内阈值Txy，最后利用阈值Txy对选定滑动窗口阈值变换，变换后的像素值g(x, y)如式(8)所示.
 | (5) |
 | (6) |
 | (7) |
 | (8) |
通过对不同滑动窗口(3×3，5×5，7×7)下的分割结果对比分析可知，不同滑动窗口相比其他优化算法对最终分割结果整体影响较小，当滑动窗口设置为3×3时针对矿石图像分割效果最佳，因此后续处理中均采用该滑动窗口完成矿石图像二值化运算.
2) HED算法. 整体嵌套边缘检测(holistically-nested edge detection, HED)算法[20]主要通过复杂图像多尺度、多层次的特征学习训练和预测，提高复杂图像的边缘提取精度.HED算法是基于VGG网络和FCN网络改进的独立多网络、多尺度预测系统，它在每一阶段链接上一个卷积层的侧输出层，同时删除VGG网络的最后一个池化层和后续的全连接层，并使用加权策略将多尺度输出层融合为单一的深度网络.holistically表示HED边缘检测的结果是端到端的过程，nested强调在输出的过程中不断继承和学习，其网络结构如图 4所示.
图 4(Fig. 4)
 | 图 4 HED网络结构原理图Fig.4 Schematic diagram of HED network structure |
该模型在训练阶段，针对非边缘像素数和边缘像素数比值过大的现象，引入基于像素的分类平衡权重解决正负样本的损失平衡问题，其损失函数为
 | (9) |
3) 分割结果融合方法.自适应阈值算法可通过计算局部阈值有效分割矿石图像中存在的目标，但针对部分边缘对比度低的目标分割效果较差.而HED算法针对边缘对比度低的目标分割效果较好，但其针对部分中小型目标识别较差，因此融合自适应阈值算法和HED算法的结果，以实现矿石目标的优化分割.融合原理如式(10)所示:
 | (10) |
2.3 图像分割优化方法1) 去除连通域算法.由于爆破图像中矿石目标表面的显著纹理信息导致矿石图像初分割后呈现相应孔洞区域，为此采用基于双遍扫描法的去除连通域算法消除孔洞区域对矿石目标边缘精准提取的影响.具体算法流程为：首先扫描矿石分割结果的每一行，并将每一行中连续像素点形成的集合称为团，同时记录初始点、终点及行号位置信息，并判断非首行团是否与前一行团重叠，不重叠则赋予其新的团号，重叠则赋予其重叠团的团号；然后进行第一遍扫描后获取所有团信息，若2个或者2个以上的团在空间上存在公共边界，则将相应团的信息合并，并以合并团成员的最小团号命名，如图 5中红色和蓝色圆为所有的团；最后结合团的特征信息设置最小连通域阈值，删除所有面积小于阈值的团，图 5为基于双遍扫描法的去除连通域算法的模拟过程.
图 5(Fig. 5)
 | 图 5 去除连通域算法示意图Fig.5 Schematic diagram of the algorithm for removing connected domains |
2) 基于距离运算的分水岭算法.由于矿石图像中部分矿石目标边缘对比度极低，可能引起图像分割的粘连问题，严重影响矿石目标最终分割的精确性，为此引入基于距离运算的分水岭算法.距离运算采用欧氏距离运算方法，具体为：将图像尺寸为(m, n)的二值图像以二维数组形式表示，其中aij=1表示前景像素，aij=0表示背景像素，前景像素集合表示为F={(x, y|aij=1)}，背景像素集合表示为B={(x, y|aij=0)}，并对图像中的所有像素点(i, j)进行距离变换，具体公式为
 | (11) |
 | (12) |
利用上述算法对图像分割结果进行距离运算，并以该值为灰度值重建图像.分水岭算法可抽象为“地形图”，其变化过程如图 6所示.矿石图像中各像素点的灰度值代表地形，其中山峰像素点对应的灰度值较大，山谷像素点对应的灰度值较小.如果水从高的地方流出，由于“地形图”的地势高低，水会流向地势较低的区域，直到一个局部区域被填充，当所有的区域被填充时，相邻区域之间的山脊即是分水岭，见图 6中点A，B.利用分水岭算法可精准确定不同的流域和山脊，流域即为不同特征的目标区域，山脊即为目标边缘，由此可解决图像分割过程中的欠分割问题.
图 6(Fig. 6)
 | 图 6 分水岭算法模拟过程Fig.6 Watershed algorithm simulation process |
2.4 图像分割效果评价方法为了定量评价图像分割准确性，利用labelme标注工具手动分割矿石图像，并以此为准确分割的标准，引入图像交并比作为指标评价分割结果.图像交并比为2幅图像中矿石目标相交部分的面积与相并部分的面积的比值，其值越大，代表图像分割效果越好，具体计算公式如下：
 | (13) |
3 结果与分析本文结合图像去噪算法、图像分割算法、融合算法及其优化算法，提出基于爆破矿石图像分割优化算法，用以统计露天采场爆破大块率，具体流程如图 7所示.
图 7(Fig. 7)
 | 图 7 矿石图像分割具体流程图Fig.7 Specific process of ore image segmentation |
3.1 矿石图像去噪结果与分析采用CLAHE算法对矿石图像进行特征细节增强后，此时图像中包含大量噪声，利用双边滤波对矿石图像噪声进行了去噪处理，同时对比了高斯滤波和中值滤波方法的矿石图像去噪结果，如图 8所示.以结构相似度(SSIM)和峰值信噪比(PSNR)为滤波指标评价三种方法的去噪效果及其对矿石目标特征的保留程度，如表 1所示.
图 8(Fig. 8)
 | 图 8 滤波结果对比图Fig.8 Comparison of filtering results (a)—经过CLAHE算法增强后的矿石图像；(b)—双边滤波去噪结果；(c)—中值滤波去噪结果；(d)—高斯滤波去噪结果. |
表 1(Table 1)
 表 1 三种矿石图像去噪方法对比Table 1 Comparison of three filtering methods for denoising ore images
| 表 1 三种矿石图像去噪方法对比 Table 1 Comparison of three filtering methods for denoising ore images |
由表 1可知，经双边滤波算法处理后的图像结构相似度和峰值信噪比分别为82.11%和31.28 dB，均高于高斯滤波和中值滤波算法处理后的结果，表明该方法在充分消除矿石图像内部噪声的同时，能够充分保留矿石图像内部目标边缘，滤波效果最佳.
3.2 矿石图像分割优化结果与分析利用自适应阈值算法和HED算法处理图 8d图像，分别如图 9a、图 10a所示，由于矿石表面具有纹理，在分割结果中出现“白点孔洞”，利用形态学和去除连通域算法可以充分消除该现象，经形态学运算处理后的结果分别如图 9b、图 10b所示，在此基础上，经去除连通域算法的结果分别如图 9c、图 10c所示.通过对比图 9c和图 10c可得，在部分小型矿石目标中，HED算法分割效果较差，如图 9c和图 10c中圆形区域所示，而自适应阈值算法在相同区域分割效果较好，如图 9c中圆形区域所示；此外，在部分重叠边缘处HED算法的分割效果较自适应阈值算法更好，如图 9c和图 10c中方框区域所示.为了更好地结合两种分割方法的优势，将图 9c和图 10c进行融合，如图 11a所示.
图 9(Fig. 9)
 | 图 9 自适应阈值算法结果图Fig.9 The resulting images of adaptive threshold algorithm (a)—自适应阈值算法结果图；(b)—对自适应阈值算法采用形态学运算结果图；(c)—对形态学算法采用去除连通域算法结果图. |
图 10(Fig. 10)
 | 图 10 HED算法结果图Fig.10 The resulting images of the HED algorithm (a)—HED算法结果图；(b)—对HED算法采用形态学运算结果图；(c)—对形态学算法采用去除连通域算法结果图. |
图 11(Fig. 11)
 | 图 11 分水岭算法结果图Fig.11 The resulting images of watershed algorithm (a)—自适应阈值算法和HED算法结果融合图像；(b)—基于距离运算的分水岭算法结果图；(c)—实体分割效果图. |
由图 11a可知，结果融合图像仍存在由于矿石目标密集而产生的粘连现象，因此采用基于距离运算的分水岭算法处理图 11a图像，如图 11b所示.再将图 11b的矿石目标轮廓线与原始矿石图像结合，如图 11c所示.利用图像交并比指标对最终分割结果进行准确性评价分析，其结果如表 2所示.
表 2(Table 2)
表 2 不同算法的图像交并比Table 2 Image intersection ratio of the different algorithms
| 表 2 不同算法的图像交并比 Table 2 Image intersection ratio of the different algorithms |
如表 2所示，自适应阈值算法的交并比为75.48%，HED算法的交并比为77.03%，融合方法的交并比为81.32%，表明本文算法精度较好，具有一定的可行性.
最后结合矿山颚式破碎机口径93 cm×58 cm和比例系数k定义多于245 079个像素点的目标矿石为大块，基于图 11b中矿石目标轮廓计算各矿石的像素点个数，统计多于大块像素点个数的目标矿石，其中有一块矿石像素点个数多于245 079，具有286 765个像素点，测量区域一共有2 042 820个像素点，因此，统计得到大块率为14.04%.
4 结论1) 双边滤波后图像的结构相似度为82.11%，峰值信噪比为31.28 dB，均优于高斯滤波和中值滤波.该方法可准确去除图像噪声，提高矿石图像分割准确性.
2) 基于双遍扫描法的去除连通域算法可有效去除矿石图像分割结果的孔洞，基于距离运算的分水岭算法可有效消除矿石图像分割结果中的过分割现象，实现矿石图像的优化分割.
3) 自适应阈值算法和HED算法分割结果融合图像最终分割精度均优于单算法的分割精度，利用本文矿石分割优化算法可有效提高爆破矿石图像分割准确性，实现露天矿爆破大块率精确统计，为爆破效果智能评价提供技术支持.
参考文献
| [1] | 陈龙, 王晓, 杨健健, 等. 平行矿山: 从数字孪生到矿山智能[J]. 自动化学报, 2021, 47(7): 1633-1645. (Chen Long, Wang Xiao, Yang Jian-jian, et al. Parallel mining operating systems: from digital twins to mining intelligence[J]. Acta Automatica Sinica, 2021, 47(7): 1633-1645.) |
| [2] | Sadeghi F, Monjezi M, Armaghani D J. Evaluation and optimization of prediction of toe that arises from mine blasting operation using various soft computing techniques[J]. Natural Resources Research, 2019, 29(2): 887-903. DOI:10.1007/s11053-019-09605-2 |
| [3] | Bakhtavar E, Sadiq R, Hewage K. Optimization of blasting-associated costs in surface mines using risk-based probabilistic integer programming and firefly algorithm[J]. Natural Resources Research, 2021, 30(6): 4789-4806. DOI:10.1007/s11053-021-09935-0 |
| [4] | 栾国欣, 魏颖, 薛定宇. 一种改进的边界法向量叠加疑似肺结节提取[J]. 东北大学学报(自然科学版), 2010, 31(8): 1078-1081. (Luan Guo-xin, Wei Ying, Xue Ding-yu. An improved algorithm based on boundary normal vector overlap for suspected pulmonary nodule extraction[J]. Journal of Northeastern University(Natural Science), 2010, 31(8): 1078-1081.) |
| [5] | 林文杰, 李玉, 赵泉华. 结合MST划分和RHMRF-FCM算法的高分辨率遥感图像分割[J]. 测绘学报, 2019, 48(1): 64-74. (Lin Wen-jie, Li Yu, Zhao Quan-hua. High-resolution remote sensing image segmentation using minimun spaning tree tessellation and RHMRF-FCM algorithm[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(1): 64-74.) |
| [6] | Khan J F, Bhuiyan S, Adhami R R. Image segmentation and shape analysis for road-sign detection[J]. IEEE Transactions on Intelligent Transportation Systems, 2011, 12(1): 83-96. DOI:10.1109/TITS.2010.2073466 |
| [7] | Rosenfeld A. The max roberts operator is a Hueckel-type edge detector[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1981, 3(1): 101-103. |
| [8] | Cheng Y. Mean shift, mode seeking, and clustering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995, 17(8): 790-799. DOI:10.1109/34.400568 |
| [9] | Rother C. GrabCut: interactive foreground extraction using iterated graph cuts[J]. ACM Transactions on Graphics(TOG), 2004, 23(3): 309-314. DOI:10.1145/1015706.1015720 |
| [10] | Crespo J, Schafer R W, Serra J, et al. The flat zone approach: a general low-level region merging segmentation method[J]. Signal Processing, 1997, 62(1): 37-60. |
| [11] | 田萱, 王亮, 丁琪. 基于深度学习的图像语义分割方法综述[J]. 软件学报, 2019, 30(2): 440-468. (Tian Xuan, Wang Liang, Ding Qi. Review of image segmentation based on deep learning[J]. Journal of Software, 2019, 30(2): 440-468.) |
| [12] | Zhan Y T, Zhang G Y. An improved OTSU algorithm using histogram accumulation moment for ore segmentation[J]. Symmetry, 2019, 11(3): 431-445. |
| [13] | Ning Z G, Shen W B, Cheng X. Adhesion ore image separation method based on concave points matching[J]. Advances in Intelligent Systems and Computing, 2017, 455: 153-164. |
| [14] | 宁志刚, 郝光鹏, 程雄, 等. 基于图像分析的堆浸铀矿石颗粒参数辨识[J]. 北京理工大学学报, 2018, 38(3): 300-304, 312. (Ning Zhi-gang, Hao Guang-peng, Cheng Xiong, et al. Parameters identification of particle size of heap leaching uranium ore based on image analysis[J]. Transactions of Beijing Institute of Technology, 2018, 38(3): 300-304, 312.) |
| [15] | Zhang G Y, Liu G Z, Zhu H. Segmentation algorithm of complex ore images based on templates transformation and reconstruction[J]. International Journal of Minerals Metallurgy and Materials, 2011, 18(4): 385-389. DOI:10.1007/s12613-011-0451-8?utm_source=TrendMD |
| [16] | Zhang W, Jiang D. The marker-based watershed segmentation algorithm of ore image[C]//IEEE 3rd International Conference on Communication Software and Networks. Piscataway: IEEE, 2011: 472-474. |
| [17] | Yuan L, Duan Y Y. A method of ore image segmentation based on deep learning[C]//14th International Conference on Intelligent Computing. Berlin: Springer-Verlag, 2018: 508-519. |
| [18] | 柳小波, 张育维. 基于U-Net和Res_UNet模型的传送带矿石图像分割方法[J]. 东北大学学报(自然科学版), 2019, 40(11): 1623-1629. (Liu Xiao-bo, Zhang Yu-wei. Ore image segmentation method of conveyor belt based on U-Net and Res_UNet models[J]. Journal of Northeastern University(Natural Science), 2019, 40(11): 1623-1629.) |
| [19] | Sanchidrián J A, Segarra P, López L M. A practical procedure for the measurement of fragmentation by blasting by image analysis[J]. Rock Mechanics and Rock Engineering, 2006, 39(4): 359-382. |
| [20] | Xie S, Tu Z. Holistically-nested edge detection[C]//2015 IEEE International Conference on Computer Vision(ICCV). Piscataway: IEEE, 2015: 1395-1403. |
