雪道点云时域波形特征分割及SLAM算法
焦倩1,马飞1,2,王志伟1,杨岩立3,郑莉芳1,刘博深1,2
(1.北京科技大学 机械工程学院,北京 100083; 2.北京科技大学 顺德创新学院,广东 佛山 528339; 3.河北宣工机械发展有限责任公司,河北 张家口 075105)
摘要:
为提升压雪车在滑雪场行驶与作业的夜间环境感知能力,提出了压雪车车载激光雷达点云时域波形阶跃值检测的雪道分割算法,并构建了适用于高山滑雪场的实时定位与建图算法(SLAM)。首先,对点云反射率分布进行统计并标记飘雪噪声点,利用邻近点线性插值方法对标记的飘雪噪声进行处理,保证点云的时域波形连续性,同时在特定扫描视角内划分栅格并以相邻网格高程值变化实时估计坡度。其次,根据山地滑雪场典型障碍设计了相应的时域波形阶跃值检测判据,筛选雪道-障碍分界点,划分扫描区间并对区间内的波形阶跃值进行包络,实现雪道点云特征分割。然后,根据雪道分割结果对特征进行分类匹配,并利用特征约束方法提高建图速度。最后,在张家口万龙滑雪场的高级和中级雪道进行算法效果验证测试。测试结果表明:所提出的雪道分割算法对单帧点云数据的处理平均耗时为2.36 ms,平均分割准确率可达98.54%,在基于雪道分割算法的改进SLAM方法中可以准确实现雪道-障碍分割,在建图精度方面表现更为优越且大幅缩减了计算耗时。
关键词: 高山滑雪场 激光雷达 飘雪噪声 时域波形 雪道分割 SLAM
DOI:10.11918/202307071
分类号:TN959.71
文献标识码:A
基金项目:国家重点研发计划项目(2020YFF0304000)
Ski pistes segmentation and SLAM algorithm based on time-domain waveform characteristics of LiDAR point cloud
JIAO Qian1,MA Fei1,2,WANG Zhiwei1,YANG Yanli 3,ZHENG Lifang1,LIU Boshen1,2
(1.School of Mechanical and Engineering, University of Science and Technology Beijing, Beijing 100083, China; 2.Shunde Innovation School, University of Science and Technology Beijing, Foshan 528339, Guangdong, China; 3.Hebei Xuanhua Construction Machinery Co., Ltd., Zhangjiakou 075105, Hebei, China)
Abstract:
To enhance the perception ability of snow field environments during nighttime and improve both the maintenance quality and operational efficiency of ski pistes, this paper proposes a novel segmentation algorithm based on time-domain waveform characteristics detection using vehicle-mounted LiDAR for the snow groomer and an improved simultaneous localization and mapping (SLAM) algorithm in ski pistes. First, based on a model of reflectivity distribution of the point cloud, snow noise points are identified and processed using linear interpolation to maintain the continuity of the time-domain waveform. Consequently, the grid is partitioned into specific scan perspectives to accurately estimate the real-time slope based on the elevation variation between neighboring grids. Then, a corresponding criterion for detecting step values in the time-domain waveforms is established to select the boundary points between pistes and obstacles according to the typical obstacles in alpine ski resorts. The segmentation can be achieved by enveloping the step values. Moreover, based on the segmentation results, features are classified and matched using feature constraint methods to improve the mapping speed. Finally, tests were conducted on the pistes of the Wanlong Ski Resort in Zhangjiakou. Experimental results show that the proposed algorithm for segmenting ski pistes achieves an average processing time of 2.36 ms per single-frame point cloud, while achieving an accuracy rate of over 98.54%. Moreover, when integrated into an improved SLAM approach with snow piste segmentation capabilities, it can achieve segmentation accurately while demonstrating superior mapping accuracy performance, as well as significantly reduced computational time.
Key words: alpine ski resorts vehicle-mounted LiDAR snow noise time-domain waveform ski pistes segmentation SLAM
焦倩, 马飞, 王志伟, 杨岩立, 郑莉芳, 刘博深. 雪道点云时域波形特征分割及SLAM算法[J]. 哈尔滨工业大学学报, 2024, 56(8): 124-134. DOI: 10.11918/202307071.
JIAO Qian, MA Fei, WANG Zhiwei, YANG Yanli, ZHENG Lifang, LIU Boshen. Ski pistes segmentation and SLAM algorithm based on time-domain waveform characteristics of LiDAR point cloud[J]. Journal of Harbin Institute of Technology, 2024, 56(8): 124-134. DOI: 10.11918/202307071.
基金项目 国家重点研发计划项目(2020YFF0304000) 作者简介 焦倩(1996-),女,博士研究生;
郑莉芳(1978-),女,教授,博士生导师 通信作者 刘博深,liuboshen@ustb.edu.cn 文章历史 收稿日期: 2023-07-22
Abstract Full text Figures/Tables PDF
雪道点云时域波形特征分割及SLAM算法
焦倩1, 马飞1,2, 王志伟1, 杨岩立3, 郑莉芳1, 刘博深1,2
1. 北京科技大学 机械工程学院,北京 100083;
2. 北京科技大学 顺德创新学院,广东 佛山 528339;
3. 河北宣工机械发展有限责任公司,河北 张家口 075105
收稿日期: 2023-07-22; 录用日期: 2023-09-20; 网络首发日期: 2024-06-28
基金项目: 国家重点研发计划项目(2020YFF0304000)
作者简介: 焦倩(1996-),女,博士研究生; 郑莉芳(1978-),女,教授,博士生导师
通信作者: 刘博深,liuboshen@ustb.edu.cn
摘要: 为提升压雪车在滑雪场行驶与作业的夜间环境感知能力,提出了压雪车车载激光雷达点云时域波形阶跃值检测的雪道分割算法,并构建了适用于高山滑雪场的实时定位与建图算法(SLAM)。首先,对点云反射率分布进行统计并标记飘雪噪声点,利用邻近点线性插值方法对标记的飘雪噪声进行处理,保证点云的时域波形连续性,同时在特定扫描视角内划分栅格并以相邻网格高程值变化实时估计坡度。其次,根据山地滑雪场典型障碍设计了相应的时域波形阶跃值检测判据,筛选雪道-障碍分界点,划分扫描区间并对区间内的波形阶跃值进行包络,实现雪道点云特征分割。然后,根据雪道分割结果对特征进行分类匹配,并利用特征约束方法提高建图速度。最后,在张家口万龙滑雪场的高级和中级雪道进行算法效果验证测试。测试结果表明:所提出的雪道分割算法对单帧点云数据的处理平均耗时为2.36 ms,平均分割准确率可达98.54%,在基于雪道分割算法的改进SLAM方法中可以准确实现雪道-障碍分割,在建图精度方面表现更为优越且大幅缩减了计算耗时。
关键词: 高山滑雪场 激光雷达 飘雪噪声 时域波形 雪道分割 SLAM
Ski pistes segmentation and SLAM algorithm based on time-domain waveform characteristics of LiDAR point cloud
JIAO Qian1, MA Fei1,2, WANG Zhiwei1, YANG Yanli3, ZHENG Lifang1, LIU Boshen1,2
1. School of Mechanical and Engineering, University of Science and Technology Beijing, Beijing 100083, China;
2. Shunde Innovation School, University of Science and Technology Beijing, Foshan 528339, Guangdong, China;
3. Hebei Xuanhua Construction Machinery Co., Ltd., Zhangjiakou 075105, Hebei, China
Abstract: To enhance the perception ability of snow field environments during nighttime and improve both the maintenance quality and operational efficiency of ski pistes, this paper proposes a novel segmentation algorithm based on time-domain waveform characteristics detection using vehicle-mounted LiDAR for the snow groomer and an improved simultaneous localization and mapping (SLAM) algorithm in ski pistes. First, based on a model of reflectivity distribution of the point cloud, snow noise points are identified and processed using linear interpolation to maintain the continuity of the time-domain waveform. Consequently, the grid is partitioned into specific scan perspectives to accurately estimate the real-time slope based on the elevation variation between neighboring grids. Then, a corresponding criterion for detecting step values in the time-domain waveforms is established to select the boundary points between pistes and obstacles according to the typical obstacles in alpine ski resorts. The segmentation can be achieved by enveloping the step values. Moreover, based on the segmentation results, features are classified and matched using feature constraint methods to improve the mapping speed. Finally, tests were conducted on the pistes of the Wanlong Ski Resort in Zhangjiakou. Experimental results show that the proposed algorithm for segmenting ski pistes achieves an average processing time of 2.36 ms per single-frame point cloud, while achieving an accuracy rate of over 98.54%. Moreover, when integrated into an improved SLAM approach with snow piste segmentation capabilities, it can achieve segmentation accurately while demonstrating superior mapping accuracy performance, as well as significantly reduced computational time.
Keywords: alpine ski resorts vehicle-mounted LiDAR snow noise time-domain waveform ski pistes segmentation SLAM
随着北京冬奥会的成功举办,中国滑雪运动爱好者与日俱增[1]。为保证滑雪体验,雪道质量的维护成为滑雪场的重要工作内容[2]。压雪车作为一种广泛应用于滑雪场的特种作业车辆,其主要作业环境为夜间低温山地,能见度极低,且通常存在陡坡与悬崖等地势,对雪道质量维护作业甚至是压雪车行驶安全提出了极大挑战[3-4]。
随着环境感知技术的发展,基于激光雷达的雪道分析受到了越来越多的关注[5-8],德国凯斯鲍尔已经研发出基于激光雷达的雪道环境感知系统[9]。中国关于滑雪场雪道感知与重构的研究较少,目前已有研究手段多依赖于无人机机载激光雷达。鉴于人工造雪和日常运营等因素,滑雪场雪道各区域的状态随时会发生变化。为实时准确地识别雪道,提高雪道平整作业的效率和维护精度,提升行驶的安全性,基于压雪车车载激光雷达的实时雪道信息获取工作尤为重要。现有地面分割算法研究主要针对城市公路环境,例如基于高程地图、平面拟合等算法,其主要目的是去除地面点,以加快后续如聚类、跟踪和控制等任务[10-12]。然而,由于室外大型滑雪场多依山而建地形复杂,同一雪道上坡度连续变化,城市公路环境下常用的地面分割方法难以直接用于高山滑雪场的雪道分割[13-14]。同时雪道分割与提取旨在获得更丰富的地面信息,为压雪车标注可行驶区域,提高工作效率。因此有必要根据高山滑雪场的地形特点,提出针对性的雪道分割方法。
然而雪场作业时多存在降雪工况,会导致激光雷达前方存在飘雪噪声,激光脉冲在撞击雪花后的反射信号存在误差,发生误检。为消除飘雪噪声引起的不利影响,通常采用滤波算法对激光雷达数据进行预处理,达到滤除噪声的目的[15-16]。目前,激光雷达飘雪噪声去除主要是基于距离和基于深度学习的滤波算法,这类方法有较高的滤波精度,但计算成本较高,不适合高山滑雪场点云的实时处理与分析。
因此,本文采用非重复性扫描的半固态式激光雷达,搭建了高山滑雪场夜间感知系统。提出了基于点云反射率分布模型的飘雪预处理方法,并基于扇形栅格对雪道坡度进行实时估计。根据激光点云在空间上的局部时域连续性特点,提出了基于时域波形阶跃值检测和包络方法,用于快速雪道分割计算,同时提出了适用于高山滑雪场的含雪道分割、特征分类匹配和特征约束的实时定位与建图(simultaneous localization and mapping,SLAM)方法。在张家口万龙滑雪场娇龙道与游龙道开展了测试,验证了所提出方法的有效性。
1 高山滑雪场夜间感知系统车载激光雷达雪道环境感知系统框架如图 1(a)所示,载具为中国自主研发的国内首台室外大型压雪车SG400。平整车身前方雪道为压雪车夜间作业的主要任务工况之一,为最大限度获取车体前的雪道地形点云数据,车顶激光雷达与地面设计垂直距离h=2.3 m,向前倾斜角度α= 11°。压雪车在实际行驶与作业过程中振动剧烈,为减少车身振动对激光雷达硬件造成的影响,设计了悬臂减振支架如图 1(b)所示。山地滑雪场在雪季夜间温度最低可达-30 ℃,已超出激光雷达正常工作温度范围,设计了内置加热片的防寒外壳,以保证激光雷达在极寒环境下可正常工作。压雪车车载系统计算平台为NVIDIA Jetson AGX xavier(8核Carmel 64位ARM CPU、Volta GPU)。
Fig. 1
图 1 车载激光雷达雪道环境感知系统 Fig. 1 Ski resort environment perception system based on vehicle-mounted LiDAR
压雪车的行驶速度通常在5~7 km/h之间,在作业时行驶速度会降低至4 km/h以下。雪道环境感知系统中的车载激光雷达Livox Mid-70的固定视角为70.4°,具有关注区域局部点云密度高,可靠性高,成本低等特点,可满足压雪车对前方环境的感知需求[17]。Livox Mid-70激光雷达采用“拟人眼”的单线花瓣式扫描方式,激光点云密度在扫描中心处最高,并且随着点到扫描中心距离的增加而减少[18]。通过两个棱镜的转速调整,Livox Mid-70实现了点云的非重复性扫描,可以在足够的累积时间情况下提供高分辨率扫描[19]。在0.03、0.06、0.10 s的采样时间下,具体激光扫描累积路径如图 2所示,随着采样时间的增加累积扫描面积显著增大。
Fig. 2
图 2 Livox Mid-70花瓣形累积扫描点云效果图 Fig. 2 Point cloud renderings of Livox Mid-70 at different samping time
2 基于时域波形特征的雪道分割Livox Mid-70的单束激光扫描所得花瓣状点云组的空间位置在时域上存在序列关系,即单束激光扫掠过单一平面时,所获取的花瓣状点组的坐标x,y,z随时间呈连续变化且较为平缓,不存在明显阶跃;扫掠过不同物体平面时,其在x,y,z坐标的一个或多个维度会出现明显的阶跃。基于这一特性,本文提出了一种基于时域波形阶跃值包络的雪道分割算法,算法流程如图 3所示。
Fig. 3
图 3 雪道分割算法流程 Fig. 3 Flow of piste segmentation algorithm
2.1 基于点云反射率分布模型的飘雪预处理激光雷达点云数据P包含一个物体在三维空间的位置x,y,z和目标物体的反射率R,P=[x, y, z, R][20-21]。经实测,空中飘浮雪颗粒对激光信号有很强的吸收作用,激光光强衰减导致反射率降低,依此特性将点云反射率作为划分飘雪和其他物体的重要依据[22]。图 4展示了测试场地某段雪道的无降雪和降雪两种工况下连续200帧激光雷达数据的反射率分布,相比于无降雪工况,降雪工况下测量点数N在反射率R∈[0, 4]范围内大幅增加,导致雪道测量点R∈[150, 153]急剧减少。根据飘浮雪颗粒低反射率特性与实测对比数据,可知降雪工况下飘浮雪颗粒的反射率集中区间为R∈[0, 4]。由于飘雪集中在激光雷达前方,因此可将激光雷达前方2 m<x<6 m反射率R∈[0, 4]的点标记为飘雪噪声点。
Fig. 4
图 4 滑雪场雷达点云反射率分布 Fig. 4 Distribution of point cloud reflectance
图 5为激光点云扫描示意图,受飘浮雪颗粒遮挡的影响,无法获得真实的激光测距值。然而,直接过滤飘雪噪声,将导致扫描点空间位置在时域上的不连续性,影响后续基于时域波形阶跃特征的检测。因此,本文采用区间相邻点线性插值方法对过滤后的不连续雪点Pk的坐标进行插值拟合:
$P_k=P_{m-1}+(k-m+1) \frac{P_{n+1}-P_{m-1}}{n-m+1}$ (1)
Fig. 5
图 5 飘雪遮挡的激光点云示意图(φ为扫描特征角) Fig. 5 Schematic diagram of laser point cloud with snow cover (φ indicates the laser scanning feature angle
式中:Pm、Pn分别为飘浮雪颗粒遮挡的起始和终末点;k为遮挡点个数, k=1,2,3,…,取二者的相邻非雪点Pm-1和Pn+1相连直线的等间隔点的位置作为插值点的坐标。
2.2 基于扇形栅格的坡度估计实验测试在张家口崇礼万龙雪场完成,其高级雪道设计的最大坡度θmax =30°,平均坡度θmean=20°;中级道θmax=25°,θmean=18°;初级道θmax=10°,θmean=7°。因自然降雪和人工造雪导致雪道坡度变化较大,需要估计车前雪道坡度参与时域波形阶跃值检测计算。根据实际雪道情况,认为车前方10~40 m,与x轴正方向夹角-7°~7°的点云属于雪道点云,并以2 m为固定间隔,划分出雪道空间上共15个扇形栅格区间,如图 6所示。以各栅格区间内点云坐标平均值作为栅格代表点P,并计算相邻代表点之间的坡度角θ。
$\theta=\frac{1}{n} \sum\limits_{n=1}^{14} \arctan \left(\frac{\bar{z}_{n+1}-\bar{z}_n}{\sqrt{\left(\bar{x}_{n+1}-\bar{x}_n\right)^2+\left(\bar{y}_{n+1}-\bar{y}_n\right)^2}}\right)$ (2)
Fig. 6
图 6 基于扇形栅格的雪道坡度估计 Fig. 6 Slope estimation of piste based on fan-shaped grid
2.3 点云时域波形阶跃值检测及区间包络雪道的障碍物主要包括:两侧树林、服务区建筑群、围栏、广告牌、照明灯等静态障碍以及同雪道内其他作业压雪车。当激光扫描雪道或障碍的过渡点时,三维坐标时域波形上的表现为阶跃特征。经实际测量可知,相邻两点间z轴高程差Δz及x轴距离差Δx是区分雪道面和非雪道障碍过渡点的明显特征。基于雪道与障碍点云特征,分别提出了z轴、x轴时域波形阶跃值检测判据,以获得雪道和障碍物之间的点云时域波形阶跃过渡点。
2.3.1 基于z轴的时域波形阶跃值检测如图 7(a)所示,以建筑障碍为例,作为一种几何连续的障碍物,激光光束从花瓣中心P0处以顺时针开始扫描,当从雪道表面扫描至建筑表面时,点P3和P4之间的高程差Δzb剧增,即点云的z轴时域波形呈现在分界线处P3出现阶跃现象(如图 7(c)所示)。同理,当激光从建筑表面扫描至雪道时,点P8和P9之间的高程差Δze骤减,点云z轴时域波形上P9也会出现阶跃的现象。此条件下x轴的时域波形无明显阶跃现象(如图 7(b)所示)。
Fig. 7
图 7 几何连续障碍点云时域特征示意 Fig. 7 Time-domain feature representation of continuity obstacle point cloud
z轴方向,选择当前点Pi与前、后各6个点,计算相邻点的高程差。点Pi的z轴阶跃判据如下:
$D_z=\left\{\begin{array}{l}+1, \quad\left|\Delta z_{i-k}\right|>\frac{z_{\mathrm{th}}}{\cos \theta}, k=1, \cdots, 6 \\0\end{array}\right.$ (3)
$U_z=\left\{\begin{array}{l}+1, \quad\left|\Delta z_{i+k}\right|>\frac{z_{\text {th }}}{\cos \theta}, k=1, \cdots, 6 \\0\end{array}\right.$ (4)
$L_{z i}= \begin{cases}1, & U_z>4, D_z>4 \\ 0\end{cases}$ (5)
式中:zth = 0.05为高程差判据阈值,θ为坡度估计值,Dz为当前点Pi时域前序点集权重统计,Uz为点Pi的后序点集权重统计,若Dz>4或Uz>4,则当前点Pi被标记为z轴时域上的阶跃点。
2.3.2 基于x轴的时域波形阶跃值检测如图 8(a)所示,以远距离山体或地形凹坑的几何间断障碍为例,激光光束从花瓣中心P0处以顺时针开始扫描,受坡度β和激光扫描角度的影响,花瓣从雪道P2直接扫掠至障碍P3处,随后花瓣扫描回转后从障碍P7扫描回到了雪道P8。图 8(b)、8(c)分别展示了点云的x轴和z轴时域波形,在时域波形上雪道点P2到障碍点P3处Δxb剧增,在高障碍点的P7到雪道点P8处则发生了Δxe骤减。z轴的时域波形上未发生较大阶跃。
Fig. 8
图 8 几何间断障碍点云时域特征示意 Fig. 8 Time-domain feature diagram of discontinuous obstacle point cloud ahead
如图 9(a)所示,以包含树木和地面点的树林为例,作为一种几何间断且不规则的障碍,当激光从雪道开始扫描至树林区域时,地面点P′5和P′7被树木遮挡,得到了表示树木的点P5、P7。在x轴时域波形的点P3和P9之间发生无序的阶跃变化,z轴波形存在类似微小幅度变化。
Fig. 9
图 9 植被障碍点云时域特征示意 Fig. 9 Time-domain feature diagram of vegetation-obstacle point cloud
基于时域的x轴坐标阶跃值检测的相关判据如下。判断当前点Pi与其在时序上的前、后各4个点的x向距离阈值计算权重,并根据Pi前、后两点来判断当前点是否为跳跃阶跃点。对于当前点Pi,点云的x轴距离阶跃的相关判据如下:
$S_x=\left\{\begin{array}{l}+1, \quad x_i-x_{i+2 j-1}>x_{\mathrm{th}} \cos \theta, j=1,2,3,4 \\0\end{array}\right.$ (6)
$\operatorname{Inf}_i=\left\{\begin{array}{l}\text { Ture }, \quad x_i-x_{i-1} \geqslant 0, x_i-x_{i+1} \geqslant 0 \\\text { False }\end{array}\right.$ (7)
$L_{x i}= \begin{cases}1, & S_x>6, \operatorname{Inf}_i=\text { True } \\ 0\end{cases}$ (8)
式中:xth=0.05为x轴上的距离阶跃阈值,θ为坡度估计值,Sx为时序上x距离的权重统计,Inf为拐点判据,若Sx>6或当前点为拐点时,则该点被标记为x轴时域波形上的阶跃点。
基于时域波形阶跃特征,寻找雪道-障碍交界点并完成点云的雪道与非雪道分割。对单个花瓣区间内出现的波形阶跃值点云进行包络,识别非雪道障碍。通过计算激光扫描特征角φ确定单个花瓣区间(如图 5所示),以初始阶跃点作为障碍起始点、末尾阶跃点作为障碍结束点进行区间包络,识别当前花瓣上的障碍。激光扫描特征角φ计算公式为
$\varphi=\arccos \left(\frac{z}{\sqrt{x^2+y^2+z^2}}\right)$ (9)
3 含雪道分割的滑雪场实时定位与建图为实现对压雪车前方环境的实时感知并将雪道分割结果可视化表达,基于Loam Livox算法的基本结构,提出了一种适用于高山滑雪场的激光雷达实时定位与建图算法,如图 10所示。基于点云反射率分布模型的飘雪噪声预处理,利用点云时域波形阶跃值包络方法,完成雪道分割。根据所得雪道与障碍标签,分别在对应的点集中进行特征提取:根据曲率的大小划分平面与边缘两类特征点。曲率c的计算公式为[23-24]
$c=\frac{1}{|S| \cdot\left\|X_{(k, i)}^L\right\|} \| \sum\limits_{j \in S, j \neq i}\left(X_{(k, i)}^L-X_{(k, j)}^L\right)||$ (10)
Fig. 10
图 10 基于雪道分割的高山滑雪场实时定位与建图流程图 Fig. 10 Simultaneous localization and mapping flow chart of alpine ski resort with piste segmentation
式中:X(k, i)L为当前帧某点的坐标,S为当前点i相邻的前后n个点组成的集合,X(k, j)L为邻域集合S中的点j的坐标。将曲率c>0.100的点作为边缘点,c<0.005的点作为平面点。通过特征分类,最终获得4类特征点:雪道平面点、雪道边缘点、障碍平面点及障碍边缘点。
在迭代位姿优化过程中,雪道平面点和障碍平面点在其局部平面特征地图中利用KD树寻找最近邻点并计算特征值,分析特征值判断是否为面特征,并根据式(11)构建点到面的残差rp2p;同理,雪道边缘点和障碍边缘点根据式(12)构建点到线的残差re2e。
$r_{\mathrm{p} 2 \mathrm{p}}=\frac{\left(P_{\mathrm{p}}-P_1\right)^{\mathrm{T}}\left(P_3-P_5\right) \times\left(P_3-P_1\right)}{\left|\left(P_3-P_5\right) \times\left(P_3-P_1\right)\right|}$ (11)
$r_{\mathrm{e} 2 \mathrm{e}}=\frac{\left|\left(P_{\mathrm{e}}-P_5\right) \times\left(P_{\mathrm{e}}-P_1\right)\right|}{\left|P_5-P_1\right|}$ (12)
式中:Pp为平面点,Pe为边缘点。最后将残差rp2p和re2e添加到姿态优化中,经迭代优化后得到点云最优位姿。最优位姿的连续积累可以用于更新压雪车的位置,跟踪其行驶轨迹。
为提升雪道SLAM的实时性,在建图过程中对特征点的数量进行约束。实验中发现,雪道点云以平面特征点为主,但平面特征点占比过高易引起位姿估计误差,并且容易对车载计算平台造成算力负担。因此根据雪场环境特点,将雪道平面特征点限制为曲率最小的i个点,在保留特征的基础上,降低了雪道大平面对点云位姿估计和建图带来的影响。
4 结果与分析高山滑雪场具有场景大、特征少、坡度变化大等特点,为验证基于激光反射率的飘雪噪声滤波、基于时域波形阶跃值包络的雪道分割和基于雪道分割、特征分类与特征约束的SLAM方法的有效性,本文选取了张家口万龙滑雪场的两条典型赛道:游龙道与娇龙道开展实验,如图 11所示。
Fig. 11
图 11 万龙滑雪场游龙道与娇龙道的部分赛道卫星示意云图(百度地图) Fig. 11 Satellite cloud image of some pistes of YouLong and JiaoLong ski pistes in Wanlong ski resort
4.1 飘雪预处理结果图 12展示了压雪车在滑雪场上坡无降雪工况和降雪工况行驶时激光雷达采集的某单帧点云数据。通过对比点云特征,相比于无降雪工况,图 12(d)中由于飘雪颗粒的影响,在雷达前方2~ 6 m处聚集了大量低反射率点。利用飘雪颗粒的反射率分布模型识别出激光雷达前方2~6 m的低反射率点云为飘雪颗粒噪声。如图 13所示,单帧点云中雪颗粒可以准确地被标记出来,基于反射率分布的雪颗粒标记方法效果良好。
Fig. 12
图 12 滑雪场降雪和无降雪工况下的单帧点云数据 Fig. 12 Single frame point cloud data under snowfall and no snowfall conditions in ski resort
Fig. 13
图 13 基于反射率分布的单帧点云飘雪标记结果 Fig. 13 Results of single frame point cloud snow labeling based on reflectivity distribution
由于激光雷达的花瓣式扫描特性,时域上的点云在各坐标上应该具有连续的周期性变化特征。图 14(a)为降雪工况下激光扫描的单帧点云x坐标的原始时域波形图,雷达前方的雪颗粒噪声导致测量点偏离坐标值。同时,由于雪道坡度变化较大,雷达随车身俯仰角度变化将导致点云数据中存在一定数量无回波信号点,也会导致坐标值偏离。利用相邻点线性插值解决时域波形的不连续问题,降噪插值后的时域波形如图 14(b)所示。
Fig. 14
图 14 降雪工况下单帧点云的x坐标时域波形图 Fig. 14 x-coordinate time-domain waveform of single frame point cloud under snowfall condition
4.2 雪道分割结果在完成点云预处理后,可以得到如图 15(a)、15(c) 所示的坐标x、z在时域0 s<t<0.1 s上的连续波形。依据x和z坐标的时域波形阶跃值判据,分别对其时域上的阶跃值位置进行识别标记(Lx,Lz),如图 15(b)、15(d)所示。在x方向上,每一个峰值所在的邻近区间内都存在若干阶跃值,表明车前距离较远位置处存在障碍。在0.02 s<t<0.04 s区间内,存在明显的障碍开始点和结束点,符合几何连续障碍的特点。在t=0.08 s附近区间,连续出现的阶跃值表明存在几何不连续的障碍。结合z坐标相关的时域波形特征,可知在0 s<t<0.03 s,两轴阶跃值判据具有相似检测结果,均能在相近的位置识别出障碍物所产生的点云时域波形阶跃。而对于t>0.04 s的区间,二者对阶跃值的检测并不相同,可以实现对障碍物识别的互相补充。
Fig. 15
图 15 基于x、z轴的时域波形阶跃值检测 Fig. 15 Time-domain waveform step value detection based on x and z axes
对x轴和z轴波形阶跃值结果取并集L后,得到了如图 16(a)所示的阶跃标记点集。并通过单帧点云的特征角变化(如图 16(b)所示),得到了各单个花瓣的扫描时间范围。基于时域波形阶跃值检测结果,以单个花瓣周期内的初始阶跃点作为包络起点、末尾阶跃点作为包络终点进行包络,得到如图 16(c)所示的阶跃值包络图,包络内的点均为障碍点。
Fig. 16
图 16 单帧点云花瓣区间内阶跃值包络 Fig. 16 Envelope of step value in petal interval of single frame point cloud
实际雪道由于坡度和周围特征复杂多变,为验证雪道分割算法的有效性,分别对双侧障碍、转向工况和不同坡度分岔雪道3个典型雪道地形进行雪道分割检验。各个雪道基于点云时域波形阶跃值包络方法的分割效果分别如图 17~19所示。图 17为压雪车行驶在双侧均存在障碍物的雪道分割效果,此时雪道坡度在θ=17°左右波动。由于雪道坡度变化的影响,部分雪道被误判为障碍(如图 17(a)所示)。图 17(b)为实时坡度估计两种情况下的雪道分割结果,基于坡度估计的分割效果体现出了更好的地形适应性。图 17(b)中雪道两侧障碍具有两种不同特征:其中,y>0区间内的障碍点分布较为规律,符合侧方建筑物障碍的特点;y<0区间内的障碍点的分布更趋离散,符合非连续障碍的特点。在两种障碍特征同时存在情况下,提出的雪道分割算法具有较好的准确性。
Fig. 17
图 17 双侧障碍下单帧点云雪道分割效果 Fig. 17 Segmentation effect of single frame point cloud ski piste under bilateral obstacles
Fig. 18
图 18 转向工况下单帧点云雪道分割效果 Fig. 18 Segmentation effect of single frame point cloud ski piste under steering condition
Fig. 19
图 19 不同坡度雪道分岔口工况下单帧点云雪道分割效果 Fig. 19 Segmentation effect of single frame point cloud ski piste under different pistes bifurcation intersection condition
高山滑雪场雪道具有转弯角度大的特点,压雪车向y>0方向转向工况下的雪道点云分割结果如图 18所示。从分割结果可知,在60 m<x<80 m区间存在前方离散障碍,符合实际转弯工况下的障碍特点。压雪车行驶作业时,存在雪道分岔与交汇工况,因此分岔路段的雪道可行驶区域识别就尤为重要。如图 19(a)所示为雪道分岔工况的雪道分割结果。图 19(b)、19(c)分别为点云在xoz、xoy两个平面上的投影,雪道1坡度约为θ=34°,雪道2坡度约为θ=16°,在两条雪道坡度差Δθ=18°的地形条件下,雪道分割算法仍能准确分割两条雪道点云。综上所述,在3种高山滑雪场的典型地形条件下,所提出的雪道分割算法可以实现标记障碍物和分割压雪车可行驶雪道点云的功能。
并从准确率A和运行时间t两方面对算法进行评估:
$A=\frac{N_{\mathrm{TP}}+N_{\mathrm{PP}}}{N_{\mathrm{TP}}+F_{\mathrm{TP}}+N_{\mathrm{PP}}+F_{\mathrm{PP}}}$ (13)
式中: NTP为提取正确的雪道点云数量,NPP为提取正确的非雪道障碍点云数量,FTP为提取错误的雪道点云数量,FPP为提取错误的非雪道障碍点云数量。通过对在万龙滑雪场多条雪道上采集的点云数据进行标记,得到雪道分割的平均准确率A为98.54%,平均运行时间t为2.36 ms。
4.3 高山滑雪场SLAM建图结果与分析图 20为降雪条件下,压雪车在娇龙道行驶作业时的SLAM结果。图 20(a)、20(b)分别为无飘雪噪声处理和基于点云反射率分布模型去除飘雪噪声后的雪道建图结果。图 20(c)、20(d)分别为图 20(a)、20(b)区域1的局部放大,经对比可以明显看出,飘雪噪声处理方法在SLAM建图过程中能够有效过滤激光雷达前方聚集性飘雪颗粒。建筑障碍的区域内建筑点云受飘雪颗粒的影响,配准误差增大,导致模糊和错位的现象(如图 20(a),区域2所示),而过滤飘雪噪声后建筑障碍点云构图的错位问题得到明显改善(如图 20(b),区域2所示)。
Fig. 20
图 20 娇龙道降雪处理SLAM Fig. 20 SLAM with snowfall processing in JiaoLong ski piste
图 21、22分别为针对娇龙道和游龙道的基于时域波形阶跃值包络算法的含特征分类和约束的雪道分割SLAM效果。图 21(a)可知,雪道分割算法在坡度变化稳定的娇龙道上可以准确划分出雪道及护栏、建筑、树木等障碍物,实现雪道可行驶区域的分割。图 21(b)为建筑障碍的局部放大图,在本文提出的SLAM算法下,建筑物可以准确被标注为障碍点,且细节构建良好。图 22展示了未进行特征分类匹配和进行特征分类匹配的游龙道雪道分割效果。由图 22(a)、22(b)可知,雪道分割算法在雪道坡度大、存在连续大转弯以及非连续性障碍特征少的游龙道上仍能准确划分出雪道及树木等障碍。如图 22(c)、22(d)所示,在具有转角变化大的转弯处,相比于未进行特征分类匹配的建图算法,特征分类匹配的建图效果更加精确,模糊程度明显下降。
Fig. 21
图 21 娇龙道实时雪道分割SLAM Fig. 21 SLAM with ski piste segmentation in JiaoLong ski piste
Fig. 22
图 22 游龙道实时雪道分割SLAM Fig. 22 SLAM with ski piste segmentation in YouLong ski piste
图 23为针对游龙道的原方法(Loam Livox)、基于雪道分割特征分类和基于特征分类与约束的建图运行时间对比。本文提出的基于雪道分割特征约束的分类匹配方法在运行时间上明显低于原方法和直接特征分类匹配方法。在高山滑雪场的定位建图中,特征约束的匹配方法可以有效地提高计算效率,且运行时间均低于20 ms,有效地增强了建图的实时性。
Fig. 23
图 23 游龙道雪道分割SLAM 3种不同算法耗时对比 Fig. 23 Time-consuming comparison of three different algorithms for ski piste segmentation SLAM of YouLong ski piste
5 结论1) 利用飘雪噪声低反射率和集中分布于雷达前方的特点对其准确标记,并通过线性插值方法去除噪声对时域波形连续性的干扰,有效解决了由于飘雪噪声引起的地图重复构建和错位构建问题。
2) 通过娇龙道和游龙道两条雪道进行实验验证,测试结果表明含坡度实时估计的时域波形阶跃值检测包络的雪道分割算法能够消除高山滑雪场的坡度影响,准确分割出不同坡度变化下的雪道,对单帧点云数据处理的平均耗时为2.36 ms,平均分割准确率可达98.54%。
3) 通过实验验证,改进的SLAM方法计算效率对比原方法有明显提升,运行时间均降至20 ms以内,有效地增强了建图的实时性。
参考文献
[1] 邹吉玲, 章碧玉, 白明, 等. 我国滑雪场发展的机遇、挑战与促进策略研究[C]//第十一届全国体育科学大会论文摘要汇编. 南京: 中国体育科学学会, 2019: 1085. DOI: 10.26914/c.cnkihy.2019.029172
[2] 乔博, 付军. 张家口滑雪场景观设计初步研究——以崇礼区长城岭滑雪场为例[J]. 北京农学院学报, 2017, 32(2): 108.
QIAO Bo, FU Jun. Preliminary study on the landscape design of Zhangjiakou ski area——Case Study of Changchengling Ski Resort in Chongli District[J]. Journal of Beijing University of Agriculture, 2017, 32(2): 108. DOI:10.13473/j.cnki.issn.1002-3186.2017.0222
[3] BROGGI A, FASCIOLI A. Artificial vision in extreme environments for snowcat tracks detection[J]. IEEE Transactions on Intelligent Transportation Systems, 2002, 3(3): 162. DOI:10.1109/TITS.2002.802936
[4] ONESTO L, CORNO M, FRANCESCHETTI L, et al. LiDAR based obstacle detection for snow groomers[J]. IFAC-PapersOnLine, 2020, 53(2): 15469. DOI:10.1016/j.ifacol.2020.12.2370
[5] WEI Haohan, HE Xiufeng, FENG Yanming, et al. Snow depth estimation on slopes using GPS-interferometric reflectometry[J]. Sensors (Basel, Switzerland), 2019, 19(22): 4994. DOI:10.3390/s19224994
[6] WANG Wenxin, ZHAO Changming, ZHANG Haiyang. A new method of ski tracks extraction based on laser intensity information[J]. Applied Sciences, 2022, 12(11): 5678. DOI:10.3390/app12115678
[7] WANG Wenxin, ZHAO Changming, ZHANG Haiyang. Research on the calculation and analysis of ski-track areas based on laser point clouds[J]. Applied Sciences, 2023, 13(3): 1632. DOI:10.3390/app13031632
[8] 白莎莎, 张海洋, 许世东, 等. 基于机载激光雷达点云的雪道坡度提取算法[J]. 应用光学, 2021, 42(3): 481.
BAI Shasha, ZHANG Haiyang, XU Shidong, et al. Slope extraction algorithm of ski tracks based on airborne LIDAR point cloud[J]. Journal of Applied Optics, 2021, 42(3): 481. DOI:10.5768/JAO202142.0302005
[9] LUISE W. Pistenbully SNOWsat: MIT abstand die beste l?sung[EB/OL]. 2020. http://www.mountain-manager.com/news/pistenbully-snowsat-mit-abstand-die-beste-loesung/
[10] 李琳辉, 张溪桐, 连静, 等. 结合道路结构化特征的语义SLAM算法[J]. 哈尔滨工业大学学报, 2021, 53(2): 175.
LI Linhui, ZHANG Xitong, LIAN Jing, et al. Semantic SLAM algorithm combined with road structured features[J]. Journal of Harbin Institute of Technology, 2021, 53(2): 175. DOI:10.11918/202001039
[11] LIM H, OH M, MYUNG H. Patchwork: concentric zone-based region-wise ground segmentation with ground likelihood estimation using a 3D LiDAR sensor[J]. IEEE Robotics and Automation Letters, 2021, 6(4): 6458. DOI:10.1109/LRA.2021.3093009
[12] HUANG Weixin, LIANG Huawei, LIN Linglong, et al. A fast point cloud ground segmentation approach based on coarse-to-fine Markov random field[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(7): 7841. DOI:10.1109/TITS.2021.3073151
[13] 梁旭, 路建旗, 谭泽阳, 等. 即峰峦体势, 绘海坨飞燕——国家高山滑雪中心设计[J]. 建筑学报, 2021(Sup. 1): 83.
LIANG Xu, LU Jianqi, TAN Zeyang, et al. Leaning along Mountains, Painting Haituo Swallows-Design of National Alpine Skiing Center[J]. Architectural Journal, 2021(Sup. 1): 83. DOI:10.19819/j.cnki.ISSN0529-1399.202107015
[14] 毕研群, 王飞腾, 韩海东, 等. 竞技型滑雪场赛道雪质及其气候变化风险评价——以河北省万龙滑雪场为例[J]. 冰川冻土, 2019, 41(3): 709.
BI Yanqun, WANG Feiteng, HAN Haidong, et al. Snow quality of the track and climate change risk assessment of competition-type skiing grounds in China: a case study of Wanlong Ski Resort in Hebei Province[J]. Journal of Glaciology and Geocryology, 2019, 41(3): 709. DOI:10.7522/j.issn.1000-0240.2019.0071
[15] CHARRON N, PHILLIPS S, WASLANDER S L. De-noising of lidar point clouds corrupted by snowfall[C]//2018 15th Conference on Computer and Robot Vision (CRV). Toronto: IEEE, 2018: 254. DOI: 10.1109/CRV.2018.00043
[16] HEINZLER R, PIEWAK F, SCHINDLER P, et al. CNN-based lidar point cloud de-noising in adverse weather[J]. IEEE Robotics and Automation Letters, 2020, 5(2): 2514. DOI:10.1109/LRA.2020.2972865
[17] LIU Zheng, ZHANG Fu, HONG Xiaoping. Low-cost retina-like robotic lidars based on incommensurable scanning[J]. IEEE/ASME Transactions on Mechatronics, 2022, 27(1): 58. DOI:10.1109/TMECH.2021.3058173
[18] LIN Jiarong, ZHANG Fu. Loam livox: a fast, robust, high-precision LiDAR odometry and mapping package for LiDARs of small FoV[C]//2020 IEEE International Conference on Robotics and Automation (ICRA). Paris: IEEE, 2020: 3126. DOI: 10.1109/ICRA40945.2020.9197440
[19] KIM M, ZHOU Miaojun, LEE S, et al. Development of an autonomous mobile robot in the outdoor environments with a comparative survey of LiDAR SLAM[C]//2022 22nd International Conference on Control, Automation and Systems (ICCAS). Jeju: IEEE, 2022: 1990. DOI: 10.23919/ICCAS55662.2022.10003762
[20] LI Hui, DI Liping, HUANG Xianfeng, et al. Laser intensity used in classification of lidar point cloud data[C]// IGARSS 2008-2008 IEEE International Geoscience and Remote Sensing Symposium. Boston: IEEE, 2008: Ⅱ. DOI: 10.1109/IGARSS.2008.4779201
[21] LEVASHEV S P. Segmentation of a point cloud by data on laser scanning intensities[J]. Pattern Recognition and Image Analysis, 2019, 29(1): 144. DOI:10.1134/S1054661819010152
[22] ZANG Shizhe, DING Ming, SMITH D, et al. The impact of adverse weather conditions on autonomous vehicles: how rain, snow, fog, and hail affect the performance of a self-driving car[J]. IEEE Vehicular Technology Magazine, 2019, 14(2): 103. DOI:10.1109/MVT.2019.2892497
[23] ZHANG Ji, SINGH S. LOAM: lidar odometry and mapping in real-time[C]//Robotics: Science and Systems X. Robotics: Science and Systems Foundation, 2014. DOI: 10.15607/rss.2014.x.007
[24] SHAN Tixiao, ENGLOT B. LeGO-LOAM: lightweight and ground-optimized lidar odometry and mapping on variable terrain[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Madrid: IEEE, 2018: 4758. DOI: 10.1109/IROS.2018.8594299
删除或更新信息,请邮件至freekaoyan#163.com(#换成@)