基于光流法的运动目标检测与跟踪算法

删除或更新信息，请邮件至freekaoyan#163.com(#换成@)

本站小编 Free考研考试/2020-03-23

肖军¹, 朱世鹏², 黄杭², 谢亚男³
1. 东北大学信息科学与工程学院，辽宁沈阳 110819
2. 东北大学计算机科学与工程学院，辽宁沈阳 110819
3. 北京理工大学计算机学院，北京 100081
收稿日期: 2015-05-18
基金项目: 国家自然科学基金资助项目(61201054).
作者简介: 肖军(1967-)，女，辽宁沈阳人，东北大学教授。

摘要: 选用Harris角点作为跟踪对象，将尺度空间引入角点检测，提取特征尺度上的Harris角点，并进行曲率非极大值抑制，滤除“伪角点”，提高角点检测对尺度变化的抗扰能力.跟踪算法选用结合图像金字塔的光流法，迭代计算光流，并提出基于光流误差的跟踪算法，即用不同时间流的运动轨迹在同一帧图像的误差来衡量运动跟踪情况，避免跟踪点因被遮挡、消失或者纹理特征发生变化而导致跟踪失败.通过对不同视频图像进行检测的结果证明基于改进的角点提取和图像金字塔的光流法具有良好的跟踪效果，引入光流误差可以有效地滤除跟踪失败的特征点，准确估计运动目标的位置.
关键词：目标跟踪角点特征尺度光流法图像金字塔
Object Detecting and Tracking Algorithm Based on Optical Flow
XIAO Jun¹, ZHU Shi-peng², HUANG Hang², XIE Ya-nan³
1. School of Information Science & Engineering, Northeastern University, Shenyang 110819, China
2. School of Computer Science & Engineering, Northeastern University, Shenyang 110819, China
3. School of Computer Science, Beijing Institute of Technology, Beijing 100081, China
Corresponding author: XIAO Jun, E-mail: xiaojun@ise.neu.edu.cn
Abstract: Harris corner points were adopted as tracking objects, and scale space was introduced into corner point detection in order to extract Harris corner points in feature scale. Then curvature was computed to filter out false corners and enhance adaptability to scale change. Optical flow method was adopted for the tracking algorithm based on image pyramid, in which the optical flow iteratively was computed. And the tracking algorithm based on the optical flow error was proposed. That is, the trajectory error in the same frame with different time flow was used to evaluate the tracking situation. In this way, tracking failure was avoided when the tracking object is hidden, disappears or textural features change. Experimental results of different video sequences show that the proposed optical flow tracking algorithm based on improved corner extraction and image pyramid has better tracking performances. The feature points could be filtered effectively that lead to tracking failure with the introduction of optical flow error method, and the object positions are estimated accurately.
Key Words: object trackingcorner pointfeature scaleoptical flowimage pyramid
高性能计算机的普及、高性价比摄像头的广泛使用以及对智能视频分析日益增长的需求，许多性能优异的跟踪算法不断涌现.智能视频分析主要包括三个方面：运动目标检测、图像序列中的运动目标跟踪以及目标行为的认知分析^[1].运动物体有多种局部特征可以用来进行跟踪，常用的特征包括轮廓、边缘、兴趣点、纹理、形状、颜色等，其中，最易提取的局部特征是点特征.本文选用Harris角点作为跟踪对象，其具有旋转不变性和对光照变化不敏感的特性，适合跟踪.运动场可以用来描述真实世界中物体的三维运动，而光流场是运动场在二维图像平面上的投影.1981年Horn和Schunck将二维速度场和灰度联系起来，提出著名的亮度恒定假设^[2]，建立了光流约束方程.此后，光流技术得到广泛关注.本文提出基于图像金字塔的光流改进算法.通过对原图像进行降采样，缩小图像尺寸，将大运动缩减为满足光流约束条件的小运动，从金字塔图像序列由上至下，逐层迭代求解光流，直至金字塔底层的原始图像，进而得到精确光流估计.提出基于光流误差的跟踪算法，即用不同时间流的运动轨迹在同一帧图像的误差来衡量运动跟踪情况，避免跟踪点因被遮挡、消失或者纹理特征发生变化而导致跟踪失败.
1 角点特征提取1.1 Harris角点检测Harris角点检测由英国学者Harris和Stephens提出^[3]，角点定义为窗口向任意方向移动都会引起图像灰度明显变化的像素点.图像窗口平移(u,v)产生的灰度变化E(u,v)如式(1)所示:

(1)

其中：w(x,y)为高斯窗口函数；I(x+u,y+v)为图像平移后的灰度.
将I(x+u,y+v)进行Taylor一阶展开，得

(2)

舍去高阶无穷小，代入式(1)计算灰度变化：

(3)

于是，对于图像微小的移动量(u,v)，灰度变化可近似表达为

(4)

其中，M是2×2 实对称矩阵，可由图像的一阶导数求得，如式(5)所示.

(5)

由于矩阵M是实对称矩阵，故通过对角化处理可得

(6)

其中，λ₁和λ₂是矩阵M的特征值，反映了图像灰度在两个方向的变化情况，因而可以根据两个特征值的大小对像素点进行分类.文献[3]给出了Harris角点响应函数，如式(7)所示.

(7)

其中：det M是矩阵M的行列式；trace M是矩阵M的迹，系数k取[0.04 0.15].CRF较大值为角点.
1.2 改进的多尺度角点检测Harris角点检测只在单一尺度下进行特征点检测，因而对图像的尺度变化不具备不变性，这是其主要的不足之处.针对Harris角点的尺度缩放问题，将尺度空间引入角点检测.
Lindeberg等在文献[4]证明高斯核是唯一的线性核.将高斯核引入尺度空间，得到多尺度Harris角点检测的自相关矩阵如式(8)所示.

(8)

其中：g(σ₁)为σ=σ₁的高斯卷积核;σ₁为积分尺度;σ_D为微分尺度.I_x(σ_D)和I_y(σ_D)为尺度空间导数，由I_x,I_y和g(σ₁)卷积而得.
上式中，σ_D²主要目的是抵消微分尺度σ_D的缩放影响，因为高斯加权计算I_x(σ_D)和I_y(σ_D)时，自相关矩阵M的每一项都乘以了1/σ_D.则多尺度的Harris角点响应函数如式(9)所示.

(9)

在特征尺度的图像上，特征检测算子和图像结构具有最大的相似性^[5].Lindeberg采用Laplacian-of-Gaussian(LoG)算子表示尺度空间^[6]，通过LoG响应局部极大值点来选择图像的特征尺度，并指出尺度规范化的LoG算子具有真正的尺度不变性.尺度规范化的LoG算子如下:

(10)

其中，I_xx和I_yy为图像在水平和垂直方向上的二阶偏导数，特征尺度即为|LoG(p,σ_n)|局部极大值点p对应的尺度σ_n.
由于采用高斯核构建尺度空间以达到尺度缩放的效果，高斯模糊造成图像细节信息丢失，因而可能在真正角点附近的小领域内同时存在数个“伪角点”.
考虑到Harris角点是至少两个边缘相交于一点，其曲率κ较大.针对这个问题，在“伪角点”密集区域计算曲率κ，并进行非极大值抑制，选取局部曲率极大点作为真正的角点.曲率κ如式(11)所示.

(11)

其中:

式中：

为高斯函数g(u,σ)的一阶导数和二阶导数.
如图 1所示计算曲率κ.根据像素点灰度梯度的方向θ=arctan(I_y/I_x)+π/2，在3×3领域内寻找和该点在同一边缘的相邻两点，利用差分代替求导，计算该点在x轴方向和y轴方向的一阶、二阶导数.
图 1(Fig. 1)

图 1 3×3领域计算曲率Fig.1 Curvature computation in 3×3 field

2 基于光流的跟踪算法传统光流法基于亮度恒定，即被跟踪部分的像素运动前后灰度保持不变：

对上式进行一阶Taylor展开，舍去高阶无穷小，并对时间t求导，化简可得著名的光流约束方程:

(12)

基于空间一致假设，即局部区域的像素运动一致，可以建立领域像素的系统方程求解中心像素的运动，如式(13)和式(14)所示.

(13)

(14)

2.1 金字塔型的特征跟踪图像金字塔是一个图像集合，集合中所有的图像都源于同一个原始图像，而且是通过对原始图像连续降采样获得，直至达到某个中止条件停止降采样^[7].传统光流法采用小窗口跟踪目标以满足空间一致假设^[8]，因而当跟踪运动速度过快的物体时，跟踪效果不理想.结合图像金字塔，采用由粗至细的分层策略，当图像经降采样分解到一定的层后，原本的大运动被缩减为满足光流约束条件的小运动，可以直接进行光流估计^[9].针对这个问题，本文设计一种基于图像金字塔的光流跟踪算法，通过图像金字塔自上而下对图像像素进行处理，进而修正初始运动速度，得到精确光流估计，如图 2所示.I⁰为原始图像，宽度和高度为w⁰和h⁰.依次生成金字塔图像序列n层，分别为I¹,I²,I³，…,I^n－1.其中第L(0≤L≤n－1)层图像I^L如式(15)所示.
图 2(Fig. 2)

图 2 金字塔光流Fig.2 Pyramid optical flow

(15)

对于原始图像I⁰中易于跟踪的特征点p(x,y)，在L层图像I^L有p^L(x^L,y^L)与之对应，其中x^L=x/2^L,y^L=y/2^L.为了避免图像特征信息大量丢失，分解层数不能过多，3≤L_m≤5.
在金字塔光流计算中，g^L=[g_x^L g_y^L]^T为L层的初始光流，自上而下，从顶层L_m到底层计算获得.顶层L_m的初始光流g^Lm=[0 0]^T,d^L为L层迭代计算得到的光流增量，相邻层之间的光流计算如式(16)所示.

(16)

上述求解过程自顶向下递推，获得最终的光流计算结果，如式(17)所示.

(17)

2.2 光流迭代计算为了提高光流计算的精度，本文提出采用迭代法进行最优估计，计算每层金字塔图像的光流，将第一次估计的速度作为初始值进行下一次迭代，直至收敛.
d^L为L层的光流增量，记为v，可由式(18)和式(19)迭代计算而得.

(18)

(19)

其中：η^k为每次迭代计算的光流增量;G,b可由差分计算而得.假设K为迭代计算收敛所需的次数，迭代初始值为v⁰=[0 0]^T，则最终估计的光流增量d^L如式(20)所示.

(20)

迭代计算的终止条件为K=20或者η^k≤0.03.
2.3 基于光流误差的跟踪算法实际跟踪过程中，由于特征点纹理发生剧烈变化或者因为遮挡致使特征点从视频序列中消失，可能导致跟踪结果不理想^[10].为此本文提出基于光流误差的跟踪算法.
对于图像序列S=(I_t,I_t+1,…,I_t+k)，利用光流法分别由前向后、由后至前跟踪运动目标，形成两条运动轨迹：

在理想情况下，Trace_F^k和Trace_B^k应该重合.定义测量误差为两条轨迹之间的距离：

(21)

如果差值较大，说明光流法的跟踪效果不理想.这里阈值T_FB选取所有光流误差的中值，如式(22)所示，目的是为了滤除50%跟踪效果不理想的特征点，用剩余跟踪效果理想的角点确定目标位置，并作为下一次光流估计的初始点.

(22)

3 实验结果与分析3.1 角点检测性能对比实验中，在不同尺度图像上进行角点检测，通常采用检测角点与初始角点的重复率来衡量角点检测的性能，如式(23)所示:

(23)

其中：C(I₁,I₂)为两幅图像重复特征点的个数；mean(m₁,m₂)为两幅图像特征点提取个数的平均值.重复率η越大，说明特征点检测的性能越好，即算法的稳定性越好.
图 3为多尺度Harris角点检测与传统Harris角点检测的性能对比，实线为传统Harris角点检测在不同尺度图像上的检测重复率，虚线为改进的多尺度角点检测(ImHarris)的检测重复率.
图 3(Fig. 3)

图 3 多尺度Harris角点检测的重复率Fig.3 Repeatability of multi-scale Harris corner detection

可以看出，引入尺度空间之后，角点检测的重复率优于传统Harris检测，提高了角点检测对尺度缩放的适应能力.
3.2 跟踪性能对比图 4为基于光流误差的跟踪算法与光流跟踪算法的跟踪性能对比.可以看出，基于光流误差的跟踪算法的跟踪性能优于光流跟踪算法.
图 4(Fig. 4)

图 4 跟踪性能对比Fig.4 Performance comparison of tracking

4 结论1) 针对角点检测对尺度变化敏感的问题，引入尺度空间概念，通过计算特征点的曲率，滤除角点附近存在的“伪角点”.
2) 针对传统光流法实际跟踪效果不理想的问题，结合图像金字塔，将大运动缩减为满足光流约束条件的小运动，逐层迭代求解光流，修正初始运动速度，得到精确光流估计.
3) 提出基于光流误差的光流跟踪算法，即利用不同时间流的运动轨迹在同一帧图像的误差来衡量运动跟踪情况，避免跟踪点因被遮挡、消失或者纹理特征发生变化而导致跟踪失败.引入光流误差有效地滤除跟踪失败的特征点，准确估计运动目标的位置.
参考文献

[1]	Kesrarat D,Patanavijit V.Performance evaluation of differential optical flow algorithms based on high confidence reliability with sub-pixel displacement[C] //33rd Electrical Engineering Conference.London,2010:1305-1308.(0)
[2]	Horn B K P, Schunck B G. Determining optical flow[J].Artificial Intelligence, 1981, 17(1): 185–203.(0)
[3]	Harris C,Stephens M.A combined corner and edge detector[C]// Proceedings of the 4th Alvey Vision Conference.London,1988:147-151.(0)
[4]	Lindeberg T. Scale-space theory in computer vision[M].Boston: Kluwer Academic Publishers, 1994.(0)
[5]	Mikolajczyk K, Schmid C. Scale and affine invariant interest point detectors[J].International Journal of Computer Vision, 2004, 60(1): 63–86.(0)
[6]	Lindeberg T. Feature detection with automatic scale selection[J].International Journal of Computer Vision, 1998, 30(2): 79–116.(0)
[7]	Tamgade S N,Bora V R.Motion vector estimation of videoimage by pyramidal implementation of Lucas Kanade optical flow[C]//2nd International Conference on Emerging Trends in Engineering & Technology.Nagpur,2009:914-917.(0)
[8]	Brox T,Bregler C,Malik J.Large displacement optical flow[C]// IEEE Computer Vision and Pattern Recognition.Miami,2009:41-48.(0)
[9]	Senst T,Eiselein V,Patzold M.Efficient real-time local optical flow estimation by means of integral projections[C]// International Conference on Image Processing (ICIP 2011).Brussel,2011:2393-2396.(0)
[10]	Senst T,Eiselein V,Sikora T.Robust modified L2 local optical flow estimation and feature tracking[C]// IEEE Application of Computer Vision.Berlin,2011:685-690.(0)