1. 东北大学 资源与土木工程学院, 辽宁 沈阳 110819;
2. 中国黄金集团, 北京 100000
收稿日期:2020-10-21
基金项目:国家重点研发计划项目(2016YFC0801602)。
作者简介:毛亚纯(1966-), 男, 辽宁本溪人, 东北大学教授, 博士生导师;
赵占国(1968-), 男, 辽宁义县人, 中国黄金集团教授级高级工程师。
摘要:针对在基于无人机点云数据进行露天采场验收测量过程中, 由于矿车点集的存在导致验收精度降低的关键问题, 提出了一种露天采场矿车点集自动提取方法.以哑巴岭露天采场无人机点云为数据源, 首先利用渐进式形态学滤波算法分割出地面点与非地面点, 然后通过改进的欧氏聚类算法对非地面点中的矿车点集进行聚类提取, 最后基于国际摄影测量和遥感学会(ISPRS)提出的误差评判标准对矿车提取结果进行评估分析.分析结果表明,该方法可以有效提取露天采场中的矿车点集, 为实现露天采场快速高效验收提供了重要的技术支持.
关键词:无人机三维点云露天采场验收测量点云分割提取渐进式形态学滤波算法欧氏聚类算法
Extraction Method of Open Pit Mine Car Based on UAV Point Cloud Data
MAO Ya-chun1, FU Yu-wen1, CAO Wang1, ZHAO Zhan-guo2
1. School of Resources & Civil Engineering, Northeastern University, Shenyang 110819, China;
2. China Gold Group, Beijing 100000, China
Corresponding author: FU Yu-wen, E-mail: fuyuwen_neu@163.com.
Abstract: In order to solve the key problem that the existence of the mine car point sets in open pit decreases the accuracy of the UAV point cloud data, an automatic extraction method of the mine car point sets in open pit stope was proposed. Using the UAV point cloud of the Yabaling open pit as the data source, the ground points and non-ground points were distinguished using the progressive morphological filtering algorithm, then the set of mine car points were extracted from the non-ground points by clustering them with an improved Euclidean clustering algorithm, and finally the mine car extraction results were evaluated and analyzed based on the error criterion proposed by the International Society for Photogrammetry and Remote Sensing (ISPRS). The results show that the method can effectively extract the set of mine car points in the open pit, and can provide an important technical support for fast and efficient check and acceptance of the open pit.
Key words: UAV 3D point cloudacceptance measurement of open pitpoint cloud segmentation and extractionprogressive morphological filtering algorithmEuclidean clustering algorithm
近年来, 无人机摄影测量技术飞速发展, 由于其具有快速高效的数据采集和自动化数据处理的优势, 已被广泛应用于大范围点云数据采集和三维建模领域[1].在露天采场应用无人机倾斜摄影测量技术采集不同时间段的露天采场三维点云数据, 以此建立采场三维模型, 利用模型差分可获取对应时段的采矿量和剥岩量.因此, 基于无人机点云数据的露天采场验收测量必将成为重要发展趋势.然而, 在露天采场中拥有较多数量的铲运车辆, 如果不对其进行有效剔除, 会严重影响验收测量的精度.因此, 矿车点集的自动提取与剔除成为了基于无人机三维点云数据采场验收应用中亟待解决的关键问题之一.
目前国内外****针对点云数据的分割提取进行了深入的研究[2-4].Abdullah等提出了一种基于高度阈值的LiDAR点云分割方法, 可有效检测和提取建筑物, 但无法检测和提取高度较低的建筑物[5].Li等提出了一种基于目标对象的几何特征和介质属性的快速分割算法, 可实现室内场景物体的快速分割提取[6], 其对室外露天采场矿车的提取具有指导意义.庄加福提出了一种基于地面估计的检测算法, 可有效检测提取特定场景中的车辆点集[7].Wang等基于城市背景对LiDAR点云进行道路分割提取, 同时将提取结果应用于无人驾驶车辆碰撞检测领域[8].Axelsson提出了一种基于渐进加密三角网点云滤波的方法, 通过计算待定点与其所在的TIN之间的角度和距离关系对点云进行分类, 但是该方法在地形复杂的地区精度较低[9-10].Lindenberger首次将数学形态学算法应用到点云数据的滤波处理中, 通过设定滤波窗口并利用开算子来实现点云中地面点与非地面点的分离[11].Wang等利用多尺度和不同形状的过滤窗口从点云数据中滤除了非地面物体点, 弥补了单向滤窗不能完全去除非地面物体的缺点[12].
上述研究多以建筑物为背景实现点云的分割提取, 而基于露天采场背景下的矿车点云分割提取算法研究较少, 同时由于露天采场矿车点集的存在严重降低了验收精度.为此本文以哑巴岭露天采场无人机三维点云为数据源, 首先通过渐进式形态学滤波算法分割出采场点云的地面点与非地面点, 然后对传统的欧氏聚类算法进行了改进, 加入基于矿车几何特征的形态阈值和点数阈值, 最后通过改进的欧氏聚类算法对分割出的非地面点进行矿车点集自动提取和剔除.研究结果表明该方法可以有效提取并剔除露天采场三维点云中的矿车点集, 为实现准确高效的采场验收提供了重要的技术支持.
1 露天采场无人机影像获取及三维点云数据建立本研究选取辽宁省鞍山市鞍千矿哑巴岭露天采场为研究区域, 利用大疆精灵4RTK无人机进行了倾斜摄影测量, 如图 1所示.无人机影像分辨率为4 864×3 648, 航向重叠度和旁向重叠度均为70%, 数据采集周期为30 d, 共获取了8月、9月及10月三期无人机航测影像集, 影像集数目分别为3 636,3 215和2 844.最后利用Smart 3D软件分别对三期航拍影像集进行了处理, 生成了点云模型, 如图 2所示.计算机配置为Intel(R) Core(TM) i7-6900K CPU @ 3.20 GHz,RAM 48 GB,NVIDIA GeForce GTX 1080 (8 GB).利用该计算机对上述三期影像进行处理, 每期耗时为16 h.
图 1(Fig. 1)
图 1 鞍山市鞍千矿哑巴岭采场Fig.1 Yabaling stope of the Anqian Mine, Anshan city |
图 2(Fig. 2)
图 2 露天采场三维点云Fig.2 Three-dimensional point cloud of the open pit (a)—8月期;(b)—9月期;(c)—10月期. |
2 露天采场矿车点集自动提取2.1 露天采场地面点与非地面点的分离由于露天采场点云数据量较大, 且覆盖矿车的点集属于非地面点集, 为准确分割提取矿车点集, 需将露天采场点云数据中的地面点集与非地面点集进行分离.为此, 本文首先通过渐进式形态学滤波算法将露天采场点云数据中的地面点集与非地面点集进行分离, 为后续准确提取矿车点集奠定基础.
数学形态学作为一门关于图像处理与分析的理论学科, 目前广泛应用于图像处理中[13-14].数学形态学主要由4种算法组成, 分别为膨胀、腐蚀、开运算和闭运算[15].在图像数据处理过程中, 膨胀运算是指在移动的结构窗口内选取出图像像素的最大值, 并用窗口内的像素最大值代替目标点的像素值;腐蚀运算和膨胀运算的基本思想一致, 区别在于用结构窗口内最小像素值替换目标点位置的像素值.开运算和闭运算则是建立在腐蚀和膨胀运算基础上的组合运算.开运算是指先进行腐蚀运算再进行膨胀运算, 而闭运算则是先进行膨胀运算再进行腐蚀运算.
基于形态学对图像和点云数据处理的对象不同, 前者是图像像素, 而后者为点云高程.一般来说图像的数据存储格式都比较规范, 用规则格网对图像的像素值进行存储, 且每个像素值都对应一个行列值(i, j).将离散点云数据仿照二维图像数据存储方式划分到同等大小的索引格网中, 再通过格网就可以进行空间查询和分析处理.这样一个格网标号(i, j)对应一组点(x, y)坐标值, 图像的像素值用高程值z表示, 则对点云数据来说, 形态学滤波中膨胀、腐蚀、开运算和闭运算的算法定义分别为
(1) |
(2) |
(3) |
(4) |
形态学滤波算法的具体实现流程:首先, 对露天采场点云进行腐蚀运算, 将小于窗口尺寸的特征表面点替换为该窗口尺寸内的最小高程点, 而窗口尺寸内的最小高程点通常为地面点, 该过程可过滤掉小于窗口尺寸的非地面点, 大于窗口尺寸的部分特征表面点将会被腐蚀掉, 部分内部点则被保留下来.然后, 将上述腐蚀结果进行膨胀运算, 被腐蚀的部分特征表面点将会得到相应的恢复, 称为该方法对点云数据的开运算.最后, 通过计算开运算前后点的高程差值, 并与设定的高差阈值进行对比, 若大于阈值则标记该点为非地面点, 反之则为地面点.
渐进式形态学滤波则是在形态学滤波的基础上, 通过改变结构窗口尺寸的大小改进了形态学滤波算法.在进行滤波运算时, 依次增加结构元窗口尺寸大小对点云数据进行开运算, 直到窗口尺寸达到设定的最大值为止.这样当结构窗口尺寸较小时, 可以有效滤掉植被等体积较小的非地面点, 而不影响体积较大的地物点, 且可以保留绝大部分地面点;当结构窗口尺寸逐渐变大时, 就可以滤掉矿车等体积较大的非地面点, 从而提高了滤波的精度.因此, 本文根据所需提取矿车的实际尺寸, 设置过滤点最大的窗口尺寸为8 m, 并基于线性增长的方式改变窗口尺寸大小, 计算公式为
(5) |
在渐进式形态学滤波算法中, 高差阈值的选择对滤波效果有着至关重要的作用[16].固定的高差阈值无法体现地形的细节变化特征, 且严重影响滤波的精度, 为此通过区域坡度、窗口大小和地物类型等因素来确定高差阈值, 计算公式为
(6) |
利用设定好的窗口尺寸和高差阈值参数, 基于线性增长的方式改变窗口尺寸对露天采场点云进行渐进式形态学滤波开运算.通过计算开运算前后点的高程差值, 并与设定的高差阈值进行对比, 若大于阈值则标记该点为非地面点, 反之则为地面点, 即可将采场中地面点与非地面点进行分离, 最终分离出的露天采场非地面点模型如图 3所示, 其中分离出的非地面点主要包括采场中各种类型的矿车和采场周围边坡的植被.
图 3(Fig. 3)
图 3 分离出的露天采场非地面点模型Fig.3 The separated non-ground point model of the open pit (a)—8月期;(b)—9月期;(c)—10月期. |
2.2 露天采场矿车点集的提取与剔除由于露天采场周围边坡分布有植被等地物, 在利用改进欧氏聚类算法提取矿车点集时会受到边坡植被等地物的影响, 因此基于直通滤波算法设置了高程阈值, 根据采场各期实际开采深度设置8~10月期模型的高程阈值分别为20, 11, 8 m, 对分离出的非地面点进行了二次分割, 剔除了采场边坡植被等点云数据, 有效减少了采场点云的数据量, 从而提高矿车提取的准确性和效率, 边坡植被等地物点剔除结果如图 4所示.
图 4(Fig. 4)
图 4 经直通滤波后的部分非地面点模型Fig.4 Part of the non-ground point model after direct filtering (a)—8月期;(b)—9月期;(c)—10月期. |
在边坡植被点云剔除基础上, 利用改进的欧氏聚类算法可提取采场内矿车点集.传统的欧氏聚类算法是一种基于欧氏距离度量的聚类算法[18].在三维空间中, 假设存在点A(x1, y1, z1)和点B(x2, y2, z2), 则点A和点B之间的欧氏距离为
(7) |
本文在传统的欧氏聚类基础上, 为了准确地对矿车点集进行聚类提取, 根据采场内矿车的几何特征在欧氏聚类算法中增加了矿车形态长、宽、高三个阈值.即对聚类得到的点集Z进一步进行阈值判定, 当聚类点集Z同时符合设定的长、宽、高阈值时, 判定该聚类点集Z为所要提取的矿车点集;若聚类点集Z不符合长、宽、高三个阈值中的任意一个阈值, 则该聚类集就不属于矿车点集, 删掉该聚类集后对剩余点进行矿车点集聚类提取.同时考虑到会有部分边坡地形点集符合矿车点集的几何特征而被误分为矿车点集, 但是其相对于矿车点集来说具有分布跨度大、点稀疏的特征, 而矿车点相对来说分布密集且数量较多, 因此在矿车点集提取过程中设置了点数的阈值限制, 将误分类的部分边坡地形点集从提取的矿车点集中滤掉, 提高矿车点集的提取精度, 具体的长、宽、高和点数的阈值设定如表 1所示, 不同期点云特征阈值会稍有差异.
表 1(Table 1)
表 1 不同类型矿车欧氏聚类的阈值Table 1 Thresholds of different types of mine cars in Euclidean clustering
| 表 1 不同类型矿车欧氏聚类的阈值 Table 1 Thresholds of different types of mine cars in Euclidean clustering |
本文依据覆盖矿车点云的实际情况, 设定邻近搜索的半径r为1.0~1.5 m之间, 聚类需要的最少点数目和最多点数目分别为40和850, 三期点云模型根据实际情况阈值参数大小会稍有变化, 改进的欧氏聚类流程如图 5所示, 通过改进的欧氏聚类处理便可提取出矿车点集, 最终提取出的矿车点集如图 6所示.
图 5(Fig. 5)
图 5 改进的欧氏聚类流程图Fig.5 Flowchart of the improved Euclidean clustering |
图 6(Fig. 6)
图 6 提取出的矿车点集Fig.6 Extracted mine car point set (a)—8月期;(b)—9月期;(c)—10月期. |
根据所提取矿车点集的测量坐标, 确定其覆盖区域, 将该区域点云从无人机点云数据中删除掉即可完成露天采场矿车点集的剔除.同时计算覆盖区临近点高程坐标的平均值, 并用该值替换矿车点集内点的高程值, 生成改正后的填补点集, 并将其加入到采场点云数据中, 从而生成了新的露天采场点云数据, 露天采场矿车剔除结果对比如图 7所示.
图 7(Fig. 7)
图 7 露天采场矿车剔除结果对比图Fig.7 Comparison of the results after removing the mine car in open pits (a-1)和(a-2)—8月期剔除前后;(b-1)和(b-2)—9月期剔除前后;(c-1)和(c-2)—10月期剔除前后. |
3 评估与分析3.1 结果评估为了验证矿车点集提取的精度, 本文采用国际摄影测量和遥感学会(ISPRS)提出的统计学误差评判标准[19].在本研究中, 将第Ⅰ类误差、第Ⅱ类误差、总误差分别定义为
(8) |
(9) |
(10) |
表 2(Table 2)
表 2 矿车点集提取结果误差评定Table 2 Error evaluation of extraction results of mine car point sets
| 表 2 矿车点集提取结果误差评定 Table 2 Error evaluation of extraction results of mine car point sets |
从表 2可以得出, 本文提出的矿车提取方法可以较好实现露天采场矿车的提取, 并且第Ⅰ类误差、第Ⅱ类误差和总误差都能够控制在较小的范围内.
3.2 对比分析为了验证本方法的可行性, 本文以8月期点云数据为例, 将本文提出的方法与文献[7]中提出的基于AETEW点云滤波的车辆提取方法进行了对比分析, 对比结果如表 3所示.
表 3(Table 3)
表 3 不同方法矿车点集提取结果对比(以8月期数据为例)Table 3 Comparison on the extraction results of mine car point sets by different methods (taking August data as an example)
| 表 3 不同方法矿车点集提取结果对比(以8月期数据为例) Table 3 Comparison on the extraction results of mine car point sets by different methods (taking August data as an example) |
从表 3可以看出, 在对矿车点集的提取过程中, 本文提出的方法在露天采场背景下具有相对较高的提取精度.基于AETEW点云滤波的车辆提取方法第Ⅰ类误差较大, 主要原因是在露天采场背景下, 不仅有体积较小的运输车, 同时还有较多大型的挖矿车辆, 矿车的高程值分布跨度较大, 因此基于AETEW点云滤波的车辆提取方法中关于车辆的相对高度阈值的设定相对困难, 从而导致很多矿车点集无法准确提取.而本文提出的方法则是通过长、宽、高和点数4个阈值参数对聚类点集进行限制, 能较完整提取出研究区域的矿车点集, 具有较高的提取精度.
4 结论1) 为了解决露天采场验收测量中矿车点集的存在致使验收精度降低的问题, 提出了一种基于渐进式形态学滤波算法和改进欧氏聚类算法的露天采场矿车点集自动提取方法.该方法首先通过渐进式形态学滤波算法将露天采场三维点云数据的地面点与非地面点进行分离, 再利用改进的欧氏聚类算法可准确提取非地面点中的矿车点集.
2) 利用ISPRS提出的误差评判标准可有效评估矿车提取的精度.本方法相比基于AETEW点云滤波车辆提取方法的提取结果, 第Ⅰ类误差降低了20.01%, 第Ⅱ类误差降低了0.69%, 总误差降低了1.66%.研究结果表明, 利用本文提出的方法可准确提取露天采场三维点云数据中的矿车点集, 为露天采场的精准验收提供重要的技术支持.
参考文献
[1] | Gül Y, Hastaolu K ?, Poyraz F. Using the GNSS method assisted with UAV photogrammetry to monitor and determine deformations of a dump site of three open-pit marble mines in Eliktekke region, Amasya province[J]. Environmental Earth Sciences, 2020, 79(1): 65-72. DOI:10.1007/s12665-020-08959-8 |
[2] | Lin Y P, Vosselman G, Cao Y P, et al. Active and incremental learning for semantic ALS point cloud segmentation[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 169: 73-92. DOI:10.1016/j.isprsjprs.2020.09.003 |
[3] | Adam A, Grammatikopoulos L, Karras G, et al. A semantic 3D point cloud segmentation approach based on optimal view selection for 2D image feature extraction[J]. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2019, XLⅡ-2/W17: 9-14. |
[4] | Yan Z, Duckett T, Bellotto N. Online learning for 3D LiDAR-based human detection: experimental analysis of point cloud clustering and classification methods[J]. Autonomous Robots, 2020, 44(2): 147-164. DOI:10.1007/s10514-019-09883-y |
[5] | Abdullah S M, Awrangjeb M, Lu G J. Automatic segmentation of LiDAR point cloud data at different height levels for 3D building extraction[C]//2014 IEEE International Conference on Multimedia and Expo Workshops (ICMEW). Chengdu, 2014: 1-6. |
[6] | Li M J, Yin D. A fast segmentation method of sparse point clouds[C]//29th Chinese Control and Decision Conference (CCDC). Chongqing, 2017: 3561-3565. |
[7] | 庄加福. 基于机载激光雷达的复杂场景车辆类目标检测[D]. 武汉: 华中科技大学, 2013. (Zhuang Jia-fu. Vehicle targets detection in complex scene based on airborne LiDAR[D]. Wuhan: Huazhong University of Science and Technology, 2013. ) |
[8] | Wang Z F, Yu B, Chen J, et al. Research on lidar point cloud segmentation and collision detection algorithm[C]//6th International Conference on Information Science and Control Engineering (ICISCE). Shanghai, 2019: 475-479. |
[9] | Axelsson P. Processing of laser scanner data-algorithms and applications[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 1999, 54(213): 138-147. |
[10] | Axelsson P. DEM generation from laser scanner data using adaptive TIN models[J]. International Archives of Photogrammetry and Remote Sensing, 2000, 33(4): 110-117. |
[11] | Masaharu H, Ohtsubo K. A filtering method of airborne laser scanner data for complex terrain[J]. International Archives of Photogrammetry Remote Sensing and Spatial Information Sciences, 2002, 34(3): 165-169. |
[12] | Wang Q L, Wu L X, Xu Z H, et al. A progressive morphological filter for point cloud extracted from UAV images[C]//2014 IEEE Geoscience and Remote Sensing Symposium. Quebec City, 2014: 2023-2026. |
[13] | Tan Y M, Wang S, Xu B, et al. An improved progressive morphological filter for UAV-based photogrammetric point clouds in river bank monitoring[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 146: 421-429. DOI:10.1016/j.isprsjprs.2018.10.013 |
[14] | Hao Y S, Zhen Z, Li F R, et al. A graph-based progressive morphological filtering (GPMF) method for generating canopy height models using ALS data[J]. International Journal of Applied Earth Observations and Geoinformation, 2019, 79: 84-96. DOI:10.1016/j.jag.2019.03.008 |
[15] | 郭雪. 机载LiDAR点云数据滤波方法研究[D]. 西安: 西安电子科技大学, 2014. (Guo Xue. Study on airborne LiDAR point cloud data filtering method[D]. Xi'an: Xidian University, 2014. ) |
[16] | 徐静波, 许捍卫, 张明希, 等. 基于渐进式形态学滤波提取LiDAR地面点的方法研究[J]. 工程勘察, 2016, 44(3): 51-54. (Xu Jing-bo, Xu Han-wei, Zhang Ming-xi, et al. Research on the method of extracting LiDAR ground points based on progressive morphological filtering[J]. Engineering Investigation, 2016, 44(3): 51-54.) |
[17] | 孙美玲, 李永树, 陈强, 等. 基于扫描线的渐进式形态学机载LiDAR点云滤波[J]. 光电工程, 2013, 40(11): 71-75. (Sun Mei-ling, Li Yong-shu, Chen Qiang, et al. Progressive morphology airborne LiDAR point cloud filtering based on scanning[J]. Optoelectronic Engineering, 2013, 40(11): 71-75.) |
[18] | Li F, Wang H, Akwensi P H, et al. Construction of obstacle element map based on indoor scene recognition[J]. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2019, XLⅡ-2/W13: 819-825. |
[19] | 陈斐然, 李浩, 易航, 等. 一种自适应数学形态学激光点云滤波方法[J]. 勘察科学技术, 2018(2): 7-11, 22. (Chen Fei-ran, Li Hao, Yi Hang, et al. An adaptive mathematical morphology laser point cloud filtering method[J]. Survey Science and Technology, 2018(2): 7-11, 22.) |