近年来，机场自动化水平不断提升，以四维轨迹(4-dimensional trajectory)为基础的场面运行方式成为新的发展方向[10]。为实现基于四维轨迹的场面运行引导与控制，实时测量移动目标的运动速度显得十分关键。在机场场面视觉监视系统中，对移动目标进行准确的三维空间定位是速度测量的基础。现有研究一般通过目标检测与跟踪算法确定移动目标在图像中的边界框(bounding box)，然后根据边界框中心点坐标确定移动目标位置[6, 9]。摄像机视角较高时，能够获得移动目标的俯视图，移动目标高度或相对摄像机的方位对边界框的影响较小。此时，边界框中心即为移动目标几何中心，可近似认为位于地面上，通过单应矩阵即可确定其三维空间坐标[11]。而摄像机视角较低时，所得侧视图中移动目标边界框的中心点很少与移动目标中心重合，并且通常不在地面上。通过单目视觉难以确定边界框中心点的高度或距离。同时，边界框的位置、大小易受移动目标与摄像机的相对方位及目标检测算法稳定性的影响，准确计算移动目标位置较为困难[11-12]。
实际机场场面摄像机的安装高度与航空器机身高度相差不大，只能获得低视角的场面运行视频。针对这一特点，本文提出一种不依赖移动目标边界框的速度测量方法。该方法通过检测图像特征点及对特征点进行持续跟踪和分析，实现移动目标运动速度测量。与边界框相比，图像特征点具有较高辨识度、不易受观测角度变化等因素影响。同时，每个移动目标包含多个特征点，有利于避免个别特征点检测或跟踪错误导致的速度测量误差。
1 系统方案 本文移动目标运动速度测量的系统方案如图 1所示，包括摄像机标定、特征点跟踪、轨迹聚类、速度计算等关键步骤。摄像机标定用于确定图像平面坐标到三维空间坐标的变换关系。本文中基于场面几何特征确定消失点(vanishing point)，并根据消失点完成摄像机标定。特征点跟踪与轨迹聚类用于确定移动目标包含的特征点运动轨迹。在运动区域提取与特征点检测的基础上，利用基于光流的特征点跟踪算法获得每个特征点的运动轨迹，然后通过轨迹聚类确定特征点所属的移动目标，最后根据相关特征点的高度与运动距离，计算每个移动目标的运动速度。
 |
| 图 1 系统方案框图 Fig. 1 Block diagram of system scheme |
| 图选项 |
2 摄像机标定与坐标变换 本文采用智能道路交通监视系统常用的基于消失点的摄像机标定方法。首先根据路面几何特征确定消失点，然后依次计算摄像机焦距、机场平面法向量和摄像机高度，完成摄像机标定。为此，定义如图 2所示的三维空间坐标系o-xyz和图像坐标系oi-uv。三维空间坐标系o-xyz的原点o位于摄像机光心，z轴与摄像机光轴重合且与图像平面垂直，原点o到图像平面的距离为摄像机焦距f。图像坐标系oi-uv的原点oi位于图像的几何中心。
 |
| 图 2 空间坐标系与图像坐标系位置关系示意图 Fig. 2 Illustration of position relation between spatial coordinate system and image coordinate system |
| 图选项 |
直线S的消失点定义为S上的无穷远点PS=(x∞,y∞,z∞)在图像平面的投影。假设直线S经过点(x0,y0,z0)，方向向量为nS=(nx,ny,nz)，则PS在图像平面的投影点(消失点)坐标为
 | (1) |
由式(1)可知，三维空间中的平行直线具有相同的消失点，正交直线的消失点与坐标原点o的连线相互垂直。因此，若机场平面上2个正交方向的消失点在图像中的坐标为p1=(u1,v1)、p2=(u2,v2)，则向量
 | (2) |
同时，根据向量
 | (3) |
 | (4) |
若机场平面上两点之间的距离为d，且两点在图像中的投影分别为 pa=(ua,va)、pb=(ub, vb)，则有
 | (5) |
式中：
根据
 | (6) |
根据上述分析，按如下步骤进行摄像机标定：
步骤1 在2个正交方向分别选择一组路面标志线段，利用最小二乘法确定每组线段延长线在图像中的交点，得到消失点坐标。
步骤2 利用式(2)~式(4)计算摄像机焦距f和机场平面法向量n 。
步骤3 在机场平面上选择距离已知的点对，利用式(6)计算摄像机高度h。
确定摄像机焦距f、机场平面法向量n和摄像机高度h后，若已知某点P在图像中的投影p=(u,v)和点P相对机场平面的高度hP，则可根据如下坐标变换关系确定该点的三维空间坐标：
 | (7) |
式中：向量
由式(7)可知，低视角视频图像中，若摄像机高度h与点P高度hP相差不大，忽略hP会导致较大空间定位误差。
3 运动速度测量 3.1 特征点轨迹生成 为降低背景干扰，首先在视频图像中提取运动区域，确定移动目标在图像中的大致位置。采用ViBe算法[13]检测背景区域，通过背景减除及滤波、二值化、腐蚀、膨胀等后处理确定运动区域。上述方法能够有效抑制移动目标内部空洞，并较好地保留移动目标轮廓。
在运动区域内，基于FAST算法[14]检测图像特征点，并应用跟踪算法生成多组特征点轨迹。采用基于光流的特征点跟踪算法，根据当前帧的特征点位置和光流场确定下一帧的特征点位置。对于非整数坐标处的特征点，利用双线性插值确定亚像素光流[15]。为减少遮挡导致的跟踪误差，通过特征点跟随正、反向光流移动后的位置与初始位置的差异(双向误差)判断特征点是否被有效跟踪[16]。
3.2 聚类分析 通过聚类分析确定不同移动目标包含的特征点轨迹。记特征点i的轨迹为ti∈Rm×2，m为轨迹长度，即特征点i被连续有效跟踪的帧数。ti每一行表示特征点i在相应图像帧的坐标。从有效跟踪的特征点轨迹中排除轨迹长度较小或未发生明显位移的特征点轨迹，得到M条候选特征点轨迹，其集合记为T。对于T中的特征点轨迹 ti，取ti后N帧的轨迹片段ti，根据ti计算特征点i的K帧位移序列di=(δi,1,δi,2, …,δ i, n)。根据位移序列di、dj计算特征点i、j的轨迹差异度li, j：
 | (8) |
li,j反映了特征点i、j平均每帧的运动差异。若li, j较小，特征点i、j属于同一移动目标的可能性较大；反之，i、j更有可能属于不同的移动目标。记 ti与集合T中所有特征点轨迹的差异度为 li=(li,1,li, 2, …,li,M)。根据 li可以确定ti相对T中所有特征点轨迹的偏好向量ri=(ri,1,ri, 2, …, ri, M)：若li,j小于给定阈值δc，则认为ti与tj属于同一移动目标，即ri,j=1；否则，ri,j=0。
按上述方法确定T中每个特征点轨迹的偏好向量，然后利用J-linkage算法[17]进行分层聚类。每个聚类c对应一个移动目标，且c中至少存在一条能够反映聚类特征的轨迹 tc，使得c中特征点轨迹与tc的差异度均小于阈值δc。
3.3 速度计算 确定移动目标包含的特征点轨迹后，根据式(7)计算特征点轨迹的三维空间坐标，并以此为基础计算运动速度。
记移动目标k的特征点轨迹聚类为ck={ tk,1,tk, 2, …,tk,q}。若轨迹 tk,i对应的特征点为 pk,i，pk,i距机场平面的高度为hk,i，特征点pk, i在第m和m+L帧的图像坐标分别为pk,im和 pk,im+L，则根据式(7)可以确定pk,i在第m和m+L帧的空间坐标，从而可以确定运动距离dk,i。由此可得特征点pk,i在第m至m+L帧的平均运动速度sk,i：
 | (9) |
式中：Fr为视频帧率。可根据实际需要确定L取值，获得期望的速度更新频率。
基于低视角视频图像进行速度测量时，上述方法首先需要确定特征点高度。以移动目标与地面的接触点为参考点，根据不同特征点在三维空间运动距离相同这一前提条件，基于式(7)计算特征点高度。速度计算时，优先选择高度较低的特征点，并对多个特征点的速度取平均值。
4 仿真实验与分析 4.1 数据集 利用广州白云国际机场场面运行视频数据集，对本文提出的速度测量方法进行了验证。数据集共包含6段视频，由五号道滑行路口的摄像机cam2513和北外场的摄像机cam9915拍摄。各段视频的相关信息如表 1所示。
表 1 场面运行视频数据集 Table 1 Dataset of surface operation videos
| 视频名称 | 分辨率 | 帧数 | 航空器个数 | 车辆个数 |
| cam2513-视频1 | 1024×576 | 401 | 1 | 0 |
| cam2513-视频2 | 1024×576 | 101 | 1 | 0 |
| cam2513-视频3 | 1024×576 | 574 | 1 | 4 |
| cam9915-视频1 | 1024×576 | 801 | 1 | 1 |
| cam9915-视频2 | 1024×576 | 451 | 0 | 2 |
| cam9915-视频3 | 1024×576 | 551 | 2 | 1 |
表选项
4.2 仿真结果分析 在三维空间中的2个正交方向分别选取5条平行直线段，用红、绿两色表示，如图 3所示。根据式(2)、式(3)确定3个正交方向的消失点和摄像机焦距f，如表 2所示。基于3条长度已知的路面分割线，根据式(6)确定摄像机高度h，如表 2所示。图 4以直观形式展示了2架摄像机的标定结果，其中红、绿、蓝色线段分别指向3个消失点，红、绿线段平行于机场平面，蓝色线段垂直于机场平面，黄色直线为地平线。
 |
| 图 3 用于摄像机标定的场面特征 Fig. 3 Surface features used for camera calibration |
| 图选项 |
表 2 摄像机标定结果 Table 2 Camera calibration results
| 摄像机 | 消失点坐标 | 焦距 | 高度/m |
| cam2513 | (7037.1, 20.3), (-117.2, 126.1), (862.8, 24017.6) | 2 015.5 | 8.1 |
| cam9915 | (-5026.3, -138.6), (722.7, 213.3), (-281.1, 13243.3) | 1065.4 | 8.9 |
表选项
 |
| 图 4 摄像机标定结果图示 Fig. 4 Illustration of camera calibration results |
| 图选项 |
本文方法的轨迹聚类结果如图 5所示。图 5(a)、(b)、(d)中只有一架航空器。图 5(e)、(f)中包含多个移动目标，本文方法能够准确区分不同移动目标的特征点轨迹。图 5(c)左上角3辆车包含在同一个运动区域内，其中最左侧车辆较小，未能检测到有效的特征点, 另外2辆车的运动速度存在差异，聚类算法能够正确区分二者的特征点轨迹。图 6进一步展示了用于速度测量的特征点轨迹在机场平面的投影，其中投影坐标系的横、纵坐标轴分别经过摄像机标定过程中确定的2个消失点。由于标定时选取的场面特征与滑行道平行，同时移动目标在运动过程中的侧向位移较小，图中轨迹投影均与横/纵坐标轴近似平行。
 |
| 图 5 特征点轨迹聚类 Fig. 5 Feature point trajectory clustering |
| 图选项 |
 |
| 图 6 机场平面轨迹投影 Fig. 6 Trajectory projection on airport surface |
| 图选项 |
针对各段视频的速度测量结果如图 7所示，其中实线为本文方法的自动测量结果，虚线为手动标记移动目标接地点的位置变化得到的速度测量结果。图 7(a)中，航空器距离摄像机较远，速度测量结果容易出现误差。图 7(b)中, 航空器距离较近，2种方法所得结果基本一致。图 7(c)中, 共有3辆车与1架航空器得到了有效的速度测量结果，其中车辆1和车辆3同时由静止开始运动，初始阶段二者速度相似，聚类算法未能区分二者的特征点轨迹，导致2种方法所得结果差别较大。图 7(d)中, 1架航空器与1辆车先后出现在视场范围内，其中航空器距离较远，从第200帧左右开始减速，直至离开视场范围；车辆与摄像机之间的距离较小，2种方法所得结果相似。图 7(e)中，车辆1、车辆2先后进入视场，车速变化较小，2种方法所得结果较为接近。图 7(f)中, 先后出现2架航空器和1辆车，其中航空器2距离较远；第150帧左右，航空器2开始被航空器1遮挡，无法获得有效特征点轨迹，手动标记结果也存在一定误差。对于航空器1，初始阶段本文方法对特征点的位置估计偏高，导致速度测量结果偏大；随后，受阴影内特征点影响，速度测量结果偏小；在能够检测到移动目标接地点后，本文方法的速度测量结果开始接近手动计算结果。受阴影内特征点的影响，本文方法对车辆的速度测量结果偏小。
 |
| 图 7 移动目标速度测量结果 Fig. 7 Moving object speed measurement results |
| 图选项 |
与基于目标边界框的速度测量方法进行对比。基于目标边界框的速度测量方法，首先利用YOLO算法[18]在运动区域中检测移动目标，确定移动目标边界框，然后基于ECO跟踪算法[19]确定后续帧的边界框位置。由于利用数据集中的单目视觉图像无法确定边界框中心点高度，选择理想高度为零的下边界中心点计算目标运动速度。图 8对比了2种速度测量方法的误差。图中根据移动目标经过地面标记点的时间与标记点间距确定参考速度，将测得速度与参考速度之差视为测量误差。每个移动目标的速度测量误差均值与方差如表 3所示。与基于特征点的方法相比，基于目标边界框进行速度测量时，边界框在相邻图像帧的大小和位置易出现突变，平均测量误差通常较大且测量稳定性较差。图 8(a)、(d)中航空器和图 8(f)中航空器2均距离摄像机较远，边界框的影响尤为显著，难以获得有效的速度测量结果。此外，边界框大小频繁变化也导致图 8(c)中航空器与车辆1的速度测量误差出现较大幅度波动。
 |
| 图 8 速度测量误差对比 Fig. 8 Comparison of speed measurement errors |
| 图选项 |
表 3 移动目标速度测量误差均值与方差 Table 3 Mean and variance of speed measurement errors for moving objects
| 视频名称 | 移动目标 | 特征点 | 边界框 | |||
| 均值/(m· s-1) | 方差/(m· s-1)2 | 均值/(m· s-1) | 方差/(m· s-1)2 | |||
| cam2513-视频1 | 航空器 | -1.1 | 0.3 | 13.8 | 600.4 | |
| cam2513-视频2 | 航空器 | 0 | 0 | 2.4 | 8.7 | |
| 航空器 | -0.1 | 0.2 | 2.6 | 120.2 | ||
| cam2513-视频3 | 车辆1 | 1.2 | 2.4 | 2.0 | 25.3 | |
| 车辆2 | -0.8 | 0.1 | -0.3 | 2.9 | ||
| 车辆3 | -1.9 | 0.3 | -2.3 | 5.2 | ||
| cam9915-视频1 | 航空器 | -0.9 | 0.9 | 8.3 | 66.0 | |
| 车辆 | -0.6 | 0 | 0.6 | 2.4 | ||
| cam9915-视频2 | 车辆1 | 0.2 | 0.1 | 0.4 | 4.3 | |
| 车辆2 | 0.6 | 0.1 | 0.4 | 1.3 | ||
| cam9915-视频3 | 航空器1 | -0.1 | 0.2 | 0.6 | 2.9 | |
| 航空器2 | -0.5 | 0.2 | 3.7 | 30.9 | ||
| 车辆 | -0.5 | 0.1 | 0.9 | 1.8 | ||
表选项
5 结论 1) 基于实际机场场面运行视频的仿真结果表明，当移动目标距离较近时，本文方法测速结果与手动标记测速结果基本一致，应用本文方法进行低视角速度测量是可行的。
2) 与基于目标边界框的速度测量方式相比，本文基于特征点跟踪分析的方法在低视角速度测量的准确性与稳定性方面具有明显优势。
为使本文方法能够用于实际的机场场面视觉监视系统，仍需优化特征点跟踪分析的相关算法，减少特征点高度估计误差与阴影内特征点的影响，同时还需合理规划摄像机监视范围，并关联不同摄像机获取的信息。
参考文献
| [1] | CERMENO E, PEREZ A, SIGUENZA J A. Intelligent video surveillance beyond robust background modeling[J]. Expert Systems with Applications, 2018, 91: 138-149. |
| [2] | 罗晓, 卢宇, 吴宏刚. 采用多视频融合的机场场面监视方法[J]. 电讯技术, 2011, 51(7): 128-132. LUO X, LU Y, WU H G. A novel airport surface surveillance method using multi-video fusion[J]. Telecommunication Engineering, 2011, 51(7): 128-132. (in Chinese) |
| [3] | VIDAKIS D G, KOSMOPOULOS D I. Facilitation of air traffic control via optical character recognition-based aircraft registration number extraction[J]. IET Intelligent Transport Systems, 2018, 12(8): 965-975. |
| [4] | LOPEZ-ARAQUISTAIN J, JARAMA A J, BESADA J A, et al. A new approach to map-assisted bayesian tracking filtering[J]. Information Fusion, 2019, 45: 79-95. |
| [5] | 唐勇, 胡明华, 吴洪刚, 等. 一种在机场视频中实现飞机自动挂标牌的新方法[J]. 江苏大学学报(自然科学版), 2013, 34(6): 681-686. TANG Y, HU M H, WU H G, et al. An automatical labeling aircraft method for airport video monitoring[J]. Journal of Jiangsu University(Natural Science Edition), 2013, 34(6): 681-686. (in Chinese) |
| [6] | SAIVADDI V, LU H L.Computer vision based surveillance concept for airport ramp operations[C]//Proceedings of 2013 IEEE/AIAA 32nd Digital Avionics Systems Conference(DASC).Piscataway, NJ: IEEE Press, 2013: 1-35. https://www.researchgate.net/publication/261240874_Computer_vision_based_surveillance_concept_for_airport_ramp_operations |
| [7] | LU H L, CHENG V H, TSAI J, et al.Airport gate operation monitoring using computer vision techniques[C]//Proceedings of 16th AIAA Aviation Technology, Integration, and Operations Conference.Reston: AIAA, 2016: 1-12. https://www.researchgate.net/publication/303902584_Airport_Gate_Operation_Monitoring_Using_Computer_Vision_Techniques |
| [8] | DONADIO F, FREJAVILLE J, LARNIER S, et al.Artificial intelligence and collaborative robot to improve airport operations[C]//14th International Conference on Remote Engineering and Virtual Instrumentation(REV).Berlin: Springer, 2018: 973-986. https://www.researchgate.net/publication/319683465_Artificial_Intelligence_and_Collaborative_Robot_to_Improve_Airport_Operations |
| [9] | LU H L, KWAN J, FONG A, et al.Field testing of vision-based surveillance system for ramp area operations[C]//Proceedings of 2018 Aviation Technology, Integration, and Operations Conference.Reston: AIAA, 2018: 1-11. |
| [10] | CHEN J, WEISZER M, STEWART P, et al. Toward a more realistic, cost effective and greener ground movement through active routing:Part 1-Optimal speed profile generation[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(5): 1196-1209. |
| [11] | KANHERE N K, BIRCHFIELD S T. Real-time incremental segmentation and tracking of vehicles at low camera angles using stable features[J]. IEEE Transactions on Intelligent Transportation Systems, 2008, 9(1): 148-160. |
| [12] | 詹昭焕, 韩松臣, 李炜, 等. 基于倾向流和深度学习的机场运动目标检测[J]. 交通信息与安全, 2019, 37(1): 49-57. ZHAN Z H, HAN S C, LI W, et al. A target detection method of moving objects at airport based on streak flow and deep learning[J]. Journal of Transport Information and Safety, 2019, 37(1): 49-57. (in Chinese) |
| [13] | BARNICH O, VAN DROOGENBROECK M. ViBe:A universal background subtraction algorithm for video sequences[J]. IEEE Transactions on Image Processing, 2011, 20(6): 1709-1724. |
| [14] | ROSTEN E, PORTER R, DRUMMOND T. Faster and better:A machine learning approach to corner detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(1): 105-119. |
| [15] | ILG E, MAYER N, SAIKIA T, et al.FlowNet 2.0: Evolution of optical flow estimation with deep networks[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Piscataway, NJ: IEEE Press, 2017: 1647-1655. https://www.researchgate.net/publication/311459265_FlowNet_20_Evolution_of_Optical_Flow_Estimation_with_Deep_Networks |
| [16] | OCHS P, MALIK J, BROX T. Segmentation of moving objects by long term video analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(6): 1187-1200. |
| [17] | TOLDO R, FUSIELLO A.Robust multiple structures estimation with J-linkage[C]//Proceedings of European Conference on Computer Vision.Berlin: Springer, 2008: 537-547. |
| [18] | REDMON J, DIVVALA S, GIRSHICK R, et al.You only look once: Unified, real-time object detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Piscataway, NJ: IEEE Press, 2016: 779-788. https://www.researchgate.net/publication/278049038_You_Only_Look_Once_Unified_Real-Time_Object_Detection |
| [19] | DANELLJAN M, BHAT G, KHAN F S, et al.ECO: Efficient convolution operators for tracking[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Piscataway, NJ: IEEE Press, 2017: 6638-6646. https://www.researchgate.net/publication/320971140_ECO_Efficient_Convolution_Operators_for_Tracking |
