删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

基于图像特征分析的物体轮廓提取*

本站小编 Free考研考试/2021-12-25

图像特征分析是图像处理的重要研究方向之一。采用合适的图像特征检测方法,使其能在图像特定区域提取出合理的相应的图像特征,并且对光照强度、视角或尺度具有较强的鲁棒性,是图像特征分析的难点。本文从图像特征分析入手,研究单帧图像中物体的轮廓检测算法。
基于图像特征分析的轮廓检测方法包括图像局部检测子方法,对某一像素周围区域量化以检测边界信息。例如Roberts算子[1]、Sobel算子[2]和Prewitt算子[3]等是通过对图像的模拟色彩通道使用局部微分滤波器作卷积。Marr和Hildreth算子[4]是用高斯模板的拉普拉斯变换(Laplacian of Gaussian,LoG)做边缘分割。考虑图像在不同尺度、不同方向滤波器下响应值的图像特征描述子也是研究点之一,如文献[5-6]中使用正交的对偶对称滤波器,设计基于方向的图像能量描述子。
有的研究者在检测轮廓时,考虑色彩和纹理信息。文献[7-8]提出利用梯度算子对亮度、色彩和纹理通道进行检测,并把它们作为逻辑回归分类器的输入以预测边界强度。Dollar等[9]提出了一种提升式边界学习算法,概率提升树(probabilistic boosting tree)[10],从多种图像特征中学习合适的边界分类器。有的研究者将图像分割成小的目标块[11],而后融合图像块内的亮度、色彩和纹理等特征,使用聚类算法对局部特征进行量化。而后将聚类中心作为图像的基元,采用核密度估计等方式来评价最优基元以作为图像的轮廓。
传统的二维图像(或视频图像帧)由于其自身的局限性,在轮廓提取上遇到瓶颈,而彩色-深度(RGB-D)图像能获取图像(或视频图像帧)的深度信息,在物体轮廓提取方面具有巨大的潜力[12]。随着深度传感器价格的下降和计算机视觉技术的发展,RGB-D深度摄像机取得了商业上的成功,并在研究领域得到了广泛的研究,其被应用到场景理解、三维重建、姿态识别、目标识别和动作识别等研究课题中。价格相对低廉的深度信息采集传感器(如Kinect)的使用,使得可以用深度信息处理物体轮廓提取的问题。
1 轮廓特征提取 在轮廓特征提取部分,本文参考了Martin[7]和Arbelaez[13]等的工作。 Martin等[7]定义了边界后验概率(Pb)函数,用于预测在任意一个图像像素(x,y)角度为θ的边界线的后验概率。他通过测量局部图像的亮度、颜色和纹理信息的差异来得到Pb函数。而本文基于RGB-D图像,增加了深度信息,得到更全面的Pb函数。同时,采用多尺度的Pb算子,再基于此采用锐化的手段来提高轮廓准确度。
1.1 检测亮度、色彩、纹理和深度的梯度信息 Pb算子计算图像的方向性梯度信号G(x,y,θ)。对于图像中的某一像素点(x,y)做某一半径的圆,区域内的像素被角度为θ的直径分为两部分。对这两块半圆内的像素,做它们的强度直方图[13]。在像素点(x,y)的梯度量为
(1)

式中:i为像素点强度值,求和范围由图像像素值的范围决定;g(i)和h(i)为半圆内的强度直方图。以每一个目标像素点为中心,施加一个方向为θ的局部二维窗口。在这个二维窗口内计算每个像素点的响应值,代替原有灰度信息,得到在某一像素点的不同方向的梯度值。图像轮廓是像素点的一种表现形式,而梯度值是对像素邻域内建模的好方法,有很强的鲁棒性。对于RGB-D图像,本文提出设计Pb算子的方向性梯度量有5个特征,分别是亮度色彩相关的L、 ab特征,体现空间域特性的纹理特征和相对深度特征。

1.1.1 Lab色彩空间 为了减小RGB颜色数据所受的采集设备影响,采用Lab色彩空间来进行计算。Lab色彩空间与RGB空间的换算公式如下。
RGB空间先变换为XYZ空间:
(2)

式中:RsrgbGsrgbBsrgb代表RGB图像3个通道的值;X、Y、Z代表着CIE XYZ空间的值。对某一通道的值K,当K>0.040 45时,有g(K)=[(K+a)/(1+a)]γ,其中a=0.055,γ=2.4;而当K≤0.040 45时,则g(K)=K/12.92。
XYZ空间再换算至Lab空间:
(3)

(4)

(5)

式中:L*a*b*为计算得到的Lab色彩空间的值;Xn、YnZn则为固定的参考值。对于某一变量t,当时,有;而时,有图 1为RGB图像转换为Lab色彩空间的示例图。
图 1 RGB图像转换为Lab色彩空间示例 Fig. 1 Example of RGB image changed to Lab color space
图选项





1.1.2 纹理特征和深度特征 提取图像的纹理基元特征。先把图像转化为灰度图像,并使用8个方向的Gabor小波和DOG特征子提取出不同方向的纹理信息,总共有17个高斯滤波结果,图 2为滤波器的示例图。
图 2 滤波器示例图 Fig. 2 Example of filter maps
图选项




使用这17种高斯滤波后,每个像素点得到一个17维响应矩阵。对这些矩阵使用K-means(Km=32)算法聚类。聚类的中心定义为纹理基元,每个像素点得到值为[1, 32]的纹理标示。计算结果为一幅每个像素点都有[1,K]范围内的一个整数值的图像,这个值即是由K-means聚类算法得到的基元标示。得到的纹理特征矩阵T如图 3所示。
图 3 RGB图像得到的纹理特征 Fig. 3 Texture feature of RGB image
图选项




由RGB-D数据得到的深度信息矩阵为每个像素点相对摄像头的深度值,设定最低深度为零海平面,从而得到整张图像的相对深度信息,如图 4所示。根据深度信息可由梯度计算公式计算深度特征的梯度矩阵。
图 4 深度图 Fig. 4 Depth image
图选项




深度梯度表现图像相对于摄像头深度值的不连续性。通过深度信息,能方便地分辨出处于图像中不同景深的物体。当背景颜色与物体颜色相近时,深度梯度能弥补RGB数据的不足。
1.2 多尺度信息融合 本节介绍一种基于Pb算子的多尺度信息融合。为了更好检测轮廓,定义了3种计算梯度量的圆半径。对每种特征都有3种尺度[σ/2,σ,2σ]。对于不同的特征可以采用不同的尺度值。将这些处理后的梯度量叠加得到多尺度的方向性信息,如式(6)所示:
(6)

式中:s代表3种不同尺度;i代表5种特征(亮度L,色彩a,色彩b,纹理T 和深度D);θ在[0,π]内等间隔若干方向;Gi,σ(i,s)(x,y,θ)即1.1节所提到的在任一像素点(x,y)的一定半径的圆,区域内的像素被角度为θ的直径分为两部分,对这两块半圆内的像素,计算梯度值;变量αi,s衡量的是每一种梯度量的贡献度。多尺度信息融合结果如图 5所示,图 5(a)为多尺度信息融合输入的信息,图 5(b)为单项信息得到的输出,mPb算法结果如图 6所示。将mPb在多个方向上的最大响应值作为每个像素点的边界强度衡量参数:
图 5 多尺度信息融合结果 Fig. 5 Results from multi-scale cues fusion
图选项




图 6 mPb算法结果 Fig. 6 Results obtained by mPb algorithm
图选项




(7)

1.3 锐 化 由于1.2节多尺度信息融合mPb的结果对图像细节边缘部分模糊,因此需要采取锐化措施,通过基于谱后验概率(sPb)的计算结果,弥补边缘的信息损失。图像锐化(image sharpening)的本质是增强图像原有轮廓的边缘部分,弥补图像的边缘缺失及在边缘处发生跳变的部分,从而使图像更加清晰。本文使用两个像素点间最大的mPb值,构建一个对称的稀疏关系矩阵W,作为谱聚类的输入,从而完成图像锐化操作。
以像素点i为圆心、固定的r值为半径得到圆域,圆域内任意点ij的关系矩阵:
(8)

式中:p为像素点ij的连线上任意一点,半径为r; 常数ρ为放大系数。定义,把像素点i为圆心、r为半径的圆内的所有其他像素j与之的关系矩阵求和。得到该点像素点基于全局的关系矩阵。求解,得到一组特征向量{v0,v1,…,vn}。这组特征矩阵代表了该像素点基于全局的相关性矩阵。
该方法与直接采用mPb相比,可以避免区域过平滑化,防止物体因背景不同而被截断。将每个特征矩阵作不同方向上的Gabor滤波,得到基于方向性的特征矩阵{▽θvk(x,y)},即各个方向上都存在特定方向上的保留特征,综合起来相当于保留了整张图像的特征,从而避免过平滑问题。之后利用谱分解得到对尖锐边缘敏感的sPb特征:
(9)

式中 :λ为特征矩阵的特征值。sPb的结果如图 7所示。
图 7 结果 Fig. 7 Image of
图选项




mPb信息和sPb信息代表着图像的不同特性,前者集中于整体大型边界,后者集中于尖锐的轮廓。把这两种信息以一定的权重进行线性叠加,能够综合两种信息的优点,可以得到高效的全局轮廓后验边界概率(gPb):
(10)

从而可以得到较好的轮廓清晰度。gPb的结果如图 8所示,由本节算法得到。
图 8 gPb结果 Fig. 8 Image of gPb
图选项




由实验结果可以看出,多尺度信息mPb与图像锐化后的sPb的结合,能得到比较清晰的图像边缘和较好的物体轮廓。但gPb中的图像轮廓并不是完全闭合的。实际结果中存在能描述出物体轮廓,但是无法形成闭合的轮廓曲线。而闭合的轮廓曲线,才是物体分割所真正需要的部分。下节将讨论利用分水岭算法等方法获取闭合的轮廓曲线。
2 图像分割 由第1节结果可以看出,利用gPb方法得到轮廓通常是不闭合的,从而无法把图像分成不同区域。本节讨论在第1节gPb未闭合的轮廓基础上,使用分水岭算法等来恢复闭合轮廓,同时还能保证在第1节中的边界质量。
2.1 方向性的分水岭算法 在第1节中,从不同的角度出发对图像特征进行计算和融合,那么不同角度下得到的分水岭也是不一样的,所以使用不同角度下的数据进行选择提取。令函数E(x,y,θ)代表图像中的某一边界在像素点(x,y)方向θ上为真实边界的概率。计算,得到所有方向上轮廓计算子的最大响应值。将E(x,y)的局部最小值作为同类片段的初始种子点,并使用分水岭算法计算E(x,y)定义的局部最小值的影响区域。而局部最小值的集水盆P0,提供最细分割的区域;相应的分水岭片段K0作为可能的边界位置。
基础的分水岭算法[14]有一定缺陷,简单地通过像素点的E(x,y)平均值评价每一段片段容易造成虚假边界。为了修正这个问题,方向性分水岭算法保证边界片段的强度与片段K0上的概率E(x,y,θ)信号的一致性。通过把分水岭弧用直线近似代替,从几何学的角度检测某一片段上的每个像素的方向性。递归地细分每段弧,直到直线段连上了它的终点。通过这种近似的评价方法,得到弧上一点离直线段的最大距离,作为直线段长度的一段。由此得到了尺度不变形的细分弧段。对细分弧段上每一个像素点(x,y)分配一个对应直线段的方向ο(x,y)∈(0,π)。而后,使用基于方向性的轮廓检测子输出结果E(x,y,θ),分配给弧上每一个像素点(x,y)一个边界强度E(x,y,ο(x,y))。最后,根据像素点的平均边界强度对每一段上0的原始分水岭片段赋予权重。
2.2 超度量轮廓图 利用分水岭算法得到的图像轮廓并不具有确定性,采用超度量的轮廓图(ultrametric contour maps)[15]提升轮廓检测的结果,其基本思想将轮廓层次化。底层次的层级能针对较弱强度的边界进行处理,但同时也会造成过分割的图像结果;而上层的层级更针对强边界,但同时会导致分割缺失。所以需要在底层和上层层级系统中寻找平衡点,即把图像理解成一个多种尺度空间下的分割结果的集合,再从中选择合理的轮廓。采取的方法是,定义一个使用原始图像的色彩信息的距离、对比区域间的对比度。将色彩图像转移至Lab色彩空间,由毕达哥拉斯公式评价两种颜色的距离。两种颜色k=(L,a,b)和k′=(L′,a′,b′)之间的距离定义为
(11)

通过Lab空间的颜色表达,灰度图像相对的参数ξ=0,而一般情况下的Lab空间ξ=1。为了提高边界检测的准确性,利用局部比较函数,来对某一点进行评估:
(12)

式中:Br(x)表示一个以x为球心的、r为半径的欧式空间内的球。计算共有轮廓的平均局部对比:
(13)

式中:L(?)代表轮廓?的长度;可以通过式(14)计算:
(14)

相互关联的超度量轮廓图能保留原始边界的位置。而后利用区域融合贪婪算法对RGB-D图像的gPb输出结果进行处理,得到超度量轮廓图,如图 9所示。
图 9 超度量轮廓图 Fig. 9 Ultrametric contour map
图选项




3 实验过程与结果 本文所提的实验算法实现步骤如算法1所示。根据本文中所叙述的方法,对NYU Depth Dataset V2数据库中的RGB-D室内图像进行处理,得到的结果如图 10所示。
图 10 实验结果 Fig. 10 Experimental results
图选项




实验算法实现步骤如下。
算法1 基于图像特征分析的物体轮廓提取。输入量:室内RGB-D图像。
1) 数据预处理,把RGB数据换算至LAB空间,从图像中提取出纹理特征,深度数据换算至相对深度。
2) 对预处理后的5组数据(亮度L、色彩a、 色彩b、 纹理T和深度D)作梯度量运算。
3) 使用mPb算子对5组梯度量运算,得到多尺度下多方向的信息融合mPb结果。
4) 使用sPb算子对5组梯度量运算,得到不同梯度方向下的sPb结果。
5) 综合mPb和sPb算子结果,得到不同梯度方向下的gPb结果。
6) 基于超度量距离对gPb结果采用分水岭算法,得到闭合的超度量轮廓图,即物体实际轮廓。
本实验结果与使用其他物体轮廓提取算法结果对比,如图 11所示。图中可以看出Sobel无法提取出有效边界,Laplace算子能提取出大部分边界,但是无法形成有效闭合轮廓。因为引入了深度数据,相比图 11(b)中的参考文献实验,在颜色相近的不同深度物体间边缘处理有一定改进,例如在此幅图像的右半部分的橱柜和餐具的轮廓显得更加清晰。
图 11 实验结果对比 Fig. 11 Experimental results comparison
图选项




4 结 论 1) 本文对室内彩色、深度(RGB-D)图像的颜色与深度特征进行分析,利用全局轮廓后验边界概率方法结合超度量图算法提取物体轮廓。
2) 实验结果表明,全局轮廓后验边界概率方法对室内RGB-D图像数据有较好的准确性,能提取出大致的物体轮廓,融合深度数据能加强实验结果。
3) 基于方向性的分水岭算法和超度量距离改进后,能成功融合区域,得到超度量轮廓图,即完整的物体轮廓。
4) 在后续的研究中,将尝试更多的数据库来验证此算法的有效性,探索有效利用深度信息的方法,并探讨与实测物体尺寸进行比较以客观评价算法分割精度的方法。
致谢    
感谢王欢女士在本文准备过程中的协助工作。
参考文献
[1] ROBERTS L G. Machine perception of three-dimensional solids[J].Optical and Electro-optical Information Processing, 1963, 20: 31–39.
[2] DUDA R O, HART P E. Pattern classification and scene analysis[M].New York: Wiley-Interscience Publication, 1973: 10-12.
[3] PREWITT J. Object enhancement and extraction[J].Picture Processing and Psychopictorics, 1970, 10(1): 15–19.
[4] MARR D, HILDRETH E. Theory of edge detection[J].Royal Society of London Proceedings, 1980, 207(1167): 187–217.DOI:10.1098/rspb.1980.0020
[5] PERONA P,MALIK J.Detecting and localizing edges composed of steps,peaks and roofs[C]//Proceedings 3rd IEEE International Conference on Computer Vision (ICCV 1990).Piscataway,NJ:IEEE Press,1990:52-57.
[6] MORRONE M C, OWENS R A. Feature detection from local energy[J].Pattern Recognition Letters, 2014, 6(5): 303–313.
[7] MARTIN D R, FOWLKES C C, MALIK J. Learning to detect natural image boundaries using local brightness,color,and texture cues[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(5): 530–549.DOI:10.1109/TPAMI.2004.1273918
[8] GUPTA S,ARBELáEZ P,MALIK J.Perceptual organization and recognition of indoor scenes from RGB-D images[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2013).Piscataway,NJ:IEEE Press,2013:564-571.
[9] DOLLAR P,TU Z,BELONGIE S.Supervised learning of edges and object boundaries[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR 2006).Piscataway,NJ:IEEE Press,2006:1964-1971.
[10] TU Z W.Probabilistic boosting-tree:Learning discriminative models for classification,recognition,and clustering[C]//Proceedings 10 th IEEE International Conference on Computer Vision (ICCV 2005).Piscataway,NJ:IEEE Press,2005:1589-1596.
[11] FELZENSZWALB P F, HUTTENLOCHER D P. Efficient graph-based image segmentation[J].International Journal of Computer Vision, 2004, 59(2): 167–181.DOI:10.1023/B:VISI.0000022288.19776.77
[12] SILBERMAN N,HOIEM D,KOHLI P,et al.Indoor segmentation and support inference from RGBD images[C]//Proceedings of the 12th European Conference on Computer Vision (ECCV 2012).Heidelberg:Springer-Verlag,2012,Part 5:746-760.http://cn.bing.com/academic/profile?id=125693051&encoded=0&v=paper_preview&mkt=zh-cn
[13] ARBELAEZ P, MAIRE M, FOWLKES C, et al. Contour detection and hierarchical image segmentation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(5): 898–916.
[14] NAJMAN L, SCHMITT M. Geodesic saliency of watershed contours and hierarchical segmentation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence, 1996, 18(12): 1163–1173.
[15] AEBELAEZ P.Boundary extraction in natural images using ultrametric contour maps[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshop.Piscataway,NJ:IEEE Press,2006:182-189.


相关话题/图像 信息 空间 计算 数据

  • 领限时大额优惠券,享本站正版考研考试资料!
    大额优惠券
    优惠券领取后72小时内有效,10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材,产品类型包含电子书、题库、全套资料以及视频,无论您是考研复习、考证刷题,还是考前冲刺等,不同类型的产品可满足您学习上的不同需求。 ...
    本站小编 Free壹佰分学习网 2022-09-19
  • 不完备信息条件下的并发故障诊断方法*
    随着技术的发展,现代设备结构日趋复杂,逐渐向大型化、自动化等方向发展,各部件之间联系更加紧密,这就为复杂装备的故障诊断带来了新的挑战。在诊断知识获取过程中,由于被测对象结构复杂、诊断系统采集的信息缺失等原因,致使所得到的故障信息存在不完备的情况;同时,在设备实际运行过程中,常常伴随有并发故障的发生。 ...
    本站小编 Free考研考试 2021-12-25
  • 用广义扩展有限元计算界面裂纹应力强度因子*
    双材料被广泛应用于如航空、航天和交通运输等领域,双材料界面处往往会出现裂纹等缺陷,这些缺陷会导致材料强度的降低,而且损伤通常开始于界面或界面附近区域,因此对双材料界面裂纹的研究至关重要。研究人员已使用如有限元法、边界元法[1]、扩展有限元法(ExtendedFiniteElementMethod,X ...
    本站小编 Free考研考试 2021-12-25
  • 基于优化字典学习算法的压缩数据收集*
    无线传感器网络(WirelessSensorNetworks,WSNs)由多个具有无线通信能力的传感器节点组成,部署在特定的监测环境中,对物理环境信息的收集是其主要应用之一[1]。典型的WSNs数据收集过程是:传感器节点周期性地感知物理环境信息,并将采集到的传感器数据通过多跳转发的方式汇聚到基站节点 ...
    本站小编 Free考研考试 2021-12-25
  • 信息缺失的航空发动机传感器数据重构*
    航空发动机是航空飞行器的重要系统,航空发动机状态监视是健康管理的第一步,根据状态监视结果进行故障诊断、故障隔离和剩余寿命周期预测等。状态监视离不开状态参数数据,目前主要使用的有气路数据、滑油数据和孔探数据等,将这些信息融合能够进一步提高健康管理效率和质量。随着传感器技术的发展,面临着传感器数据维度增 ...
    本站小编 Free考研考试 2021-12-25
  • 空间绳系拖拽系统摆动特性与平稳控制
    随着空间技术的深入发展,航天器不断被送入太空,同时废弃航天器停留在轨道上形成了越来越多的空间垃圾,导致在役航天器与空间垃圾碰撞的可能性正逐年增加。2009年2月11日,俄罗斯废弃卫星(简称废星)“宇宙2251”和美国“铱星33”在太空相撞并产生几千块碎片[1],成为人类历史上首次卫星相撞事故,这表明 ...
    本站小编 Free考研考试 2021-12-25
  • 基于简单WENO-间断Galerkin的Euler方程自适应计算
    间断Galerkin(DG)方法是由Reed和Hill[1]于1973年为了解决线性输运问题而提出,此后该方法得到了不断发展。20世纪90年代,Cockburn和Shu[2]提出的Runge-Kutta间断Galerkin(RKDG)方法尤其引人注目,在气动力学、水动力学、电磁场以及气动声学等领域的 ...
    本站小编 Free考研考试 2021-12-25
  • 一种高效计算各类基于方差灵敏度指标的方法
    灵敏度分析主要研究模型的输出不确定性是如何分配到输入不确定性的[1]。研究输入对输出不确定性的影响程度,有助于设计者选择更全面、合理和有效减小模型输出不确定性的方案。通常,灵敏度分为局部灵敏度、全局灵敏度和区域灵敏度。局部灵敏度不能反映输入变量整个分布范围对输出响应不确定性的影响,而全局灵敏度反映的 ...
    本站小编 Free考研考试 2021-12-25
  • 基于奇异谱分析的空间环境数据插补方法
    由于受卫星轨道限制、测量设备故障、通信链路中断及人为数据剔除等因素的影响,空间环境测量数据(包括太阳风参数、行星际磁场和高能粒子通量等)经常出现数据缺失现象,而很多分析过程及建模手段都需要连续的数据作为输入,因此,研究空间环境缺失数据插补方法有着重要的现实意义。空间环境数据具有典型的非线性、非平稳特 ...
    本站小编 Free考研考试 2021-12-25
  • 乏信息空间机械臂随机振动信号的灰自助评估
    乏信息是指测量数据具有的测量信息不完整和不充足,如概率分布已知,但只有少量数据可供分析;概率分布未知,测量数据也只有少量;趋势项未知等,都具有乏信息的特征[1]。航空、航天运载系统、载人航天工程系统、战术导弹和飞行姿态控制等行业经常遇到更加复杂的乏信息问题[2,3]。对于空间机械臂而言,振动会影响安 ...
    本站小编 Free考研考试 2021-12-25
  • 基于非线性直方图变换的对比度畸变图像校正
    在实际成像的过程中,由于受到成像装置自身硬件的限制、复杂恶劣的成像环境(如夜晚成像)、拍摄工作者对相机参数的设置等多种因素的影响,造成图像质量下降,视觉效果差,捕获的图像场景许多目标细节部分淹没。由此而产生的对比度畸变图像给后续分析和识别也带来了困难。图像对比度畸变校正主要有2个目的:一是提高图像的 ...
    本站小编 Free考研考试 2021-12-25