20世纪80年代以来人们提出了很多红外小目标检测算法,如空域滤波[3]、形态学变换[4, 5]、Contourlet变换[6]、Top-Hat变换[7]、马尔可夫随机场法[8]、机器学习法[9]等,但是多数算法仍然存在条件假定苛刻、检测能力有限等问题,复杂背景下的红外小目标检测仍然是一个挑战性课题.受到人类视觉机制的启发,基于视觉显著性[10, 11]和尺度空间[11, 12]的算法引起了研究人员的广泛注意.人类视觉系统具有视觉注意机制,能高效地将复杂场景中的众多视觉数据按重要性进行优先选择,有效地忽略噪声的影响.单幅图像的显著性检测方法主要有Itti法[13]、图论视觉显著性(Graph-Based Visual Saliency,GBVS)法[14]、频谱残差法(Hou法)[15]和视觉反差(Visual Contrast,VC)法[16]等.但这些显著性检测方法大多基于自下而上的视觉注意机制,属于面目标图像通用检测,对噪声的影响非常敏感,用于检测红外小目标时鲁棒性较差.也有文献提出了若干面向红外小目标显著性检测方法,文献[17]提出了一种简化中央凹log-polar的离散非线性多层采样预检测模型,但该方法主要面向序列图像,且易受噪声影响;文献[18]也提出了一种针对红外序列图像的串行方法,在计算速度方面具有优势,但目标检测率较低,鲁棒性有待提高;文献[19]提出了一种基于改进局部对比度的小目标显著性检测方法,但该方法必须预先获知小目标的实际尺寸才能取得较好的效果,而且对盐噪声敏感,在实际应用中存在较大局限性.
分析红外小目标特性可知,其背景主要是平缓区域,通常也会伴有起伏杂波,目标通常与相邻背景不连续,具有孤立性,因而可以利用其显著性定位红外小目标.但是像素尺度亮噪声(Pixel-sized Noises with High Brightness,PNHB)能够极大影响传统方法的显著性检测效果[19],而且由于红外小目标尺寸很小,强度较弱,如果采用一般去噪方法(如最大-中值(Max-Median)滤波、最大-均值(Max-Mean)滤波[20])进行预处理,则目标本身往往也会被明显削弱,影响后续检测效果.
鉴于以上考虑,本文基于红外小目标的若干表观特征及视觉显著性,提出一种基于图像块统计序对比度(Ordered Contrast of Image Patch,OCIP)的红外小目标显著性鲁棒检测方法.首先对原始图像进行尺度扩展;然后在每个像素位置计算对应的多尺度图像块统计序对比度(Multiscale Ordered Contrast of Image Patch,MOCIP),并进行最大值池操作获得初级显著性图,使得噪声和背景受到抑制;进而提高统计序参数,并对归一化的初级显著性图再次计算其高序的MOCIP获得显著性图;最后以自适应阈值法检出目标.本文详细给出了红外小目标视觉显著性鲁棒检测算法,使用红外小目标图像对检测性能进行了实验验证,并与其他检测方法进行了对比.
1 红外小目标视觉显著特征1.1 生物视觉注意机制人类视觉系统能够迅速将注意力选择性地集中在显著区域[21].这种视觉特性有助于剔除冗余信息,将计算资源更多地用于感兴趣区域,能有效提高信息处理效率[22].视觉注意机制方式有两类：一类是显著驱动和任务独立的自下而上(bottom-up)方式,另一类是意志控制和任务相关的自上而下(top-down)方式[21].
自下而上的视觉注意机制主要基于生物科学研究发现的若干模型.生物学研究发现灵长类动物的初级视觉皮层含有大量简单细胞和复杂细胞[16, 17, 18, 19, 20, 21, 22, 23].其中简单细胞只感受视野中的局部区域;复杂细胞是简单细胞集群的一种非线性时空整合,将局部单元信息汇集成具有全局意义的特征后,视觉系统便能感知显著区域.计算机视觉领域对单幅图像的显著性检测主要面向RGB图像,大多采用自下而上的方法,需要综合计算颜色、亮度、方向等信息,检测分割的结果往往是最突出的面目标.
自上而下的注意,也称作任务驱动的注意选择,由人的“认知因素”决定,比如知识、预期和当前的目标等.自上而下的注意能够对自下而上的模型进行影响,以目标所体现的显著特征作为指导.该方法在已知目标部分特征和背景复杂时能够取得比单纯自下而上方式更好的效果.但是目前为止自上而下任务驱动型注意的生理机制及计算原理尚未取得有效的生物科学解释[21].
1.2 红外小目标若干表观特征及其视觉显著性随着隐身技术的发展,目标自身的红外辐射强度越来越小,同时由于大气辐射等自然因素以及红外传感器固有噪声的影响,目标常淹没在复杂背景和噪声中,没有颜色特征、纹理特征和形状信息.在远距离观测目标时,目标在传感器中形成的图像尺寸非常小.国际光学工程学会(Society of Photo-Optical Instrumentation Engineers,SPIE)在2014年国际小目标信号数据处理会议(Signal and Data Processing of Small Targets 2014)上将小目标的标准定为100像素(例如10pixels×10pixels)以下[24].
信噪比低、背景复杂的红外小目标的灰度值在整幅图像中不一定是最高的,但是通常还是会在一定程度上高于其局部背景,目标区域的周围存在环绕的低灰度背景区,因此具有孤立的显著性.背景中平缓区域的灰度起伏变化小,显著度较小.云层、建筑、天际线等杂波作为背景时起伏较大,灰度值较高,但这些背景通常为二维面区域,与周边邻域相容,不存在环绕的低灰度区域,没有孤立特性.
在实际观察红外小目标图像时,人类视觉系统往往能够很好地实现目标检测.分析其原因,从自下而上的角度看,因为红外小目标的灰度强度在一定程度上高于其局部背景,而且目标周围存在环绕的低灰度区,因此目标具有孤立的显著性.从自上而下的方面看,人眼在搜索红外图像中的小目标时带有一定的先验信息,根据搜索任务所确定的特征(即红外小目标的表观特征)处理图像,确定感兴趣区域,有选择地抑制背景和噪声.
2 基于MOCIP的小目标显著性检测2.1 图像块操作图像块操作使用局部图像块信息代替对应的像素信息,因而能更好地研究图像的区域特征,近来在图像处理中得到了广泛应用[25].
本文将尺度为s的图像块定义为s×s个像素的方块区域,并在每个像素位置生成对应的图像块.根据小目标的尺寸范围[24],令s=3,5,7,9.如图 1所示,类似像素邻域的概念,将图像块在水平、垂直和对角方向相邻的图像块N1~N8定义为中心图像块P的8邻域.由于图像块占有多个像素,为了避免因图像块操作造成图像边缘区域小目标的漏检,需要根据图像块尺度对原始图像进行扩展.
 |
| 图 1 图像块及其8邻域Fig. 1 Image patch and its 8-neighborhood |
| 图选项 |
定义图像空间
扩展图像算子FE包括三部分,首先对原始图像进行Max-Mean滤波获得图像
式中:Mleft(p)、Mright(p)、Mtop(p)和Mbottom(p)分别为对应尺度s的左、右、上、下边缘的第p个平均灰度值.扩展图像时可将边缘灰度复制s行(或列),并按方向拼接在原始图像
在扩展的图像
式中:
2.2 OCIP及其与小目标显著性的关系生物学研究表明,对比度是视觉系统编码最重要的部分[11].数字图像处理领域通常使用图像局部均值的二阶矩作为局部对比度的度量,主要用于描述纹理等特性.本文拟将图像块邻域间的对比特性作为局部特征,模拟简单细胞获取的局部信息,再将所有局部信息汇聚成显著性图,构成复杂细胞获取的全局信息.同时在利用图像块邻域间的对比特性时也要考虑抑制PNHB的影响.因此本文提出一种基于图像块的统计序对比度计算方法,将中心像素位于(i,j)且尺度为s的图像块与邻域的统计序对比度定义为
式中:sortk(
分析可知,OCIP共有8×s2种情况.当l取定值时,在k=1时取最小对比度,k=s2时为最大对比度,当k=s2/2时为中值对比度或近似中值对比度.为了方便计算,引入统计序参数w∈(0,1］,令$k=\left\lceil w\times {{s}^{2}} \right\rceil $,其中$\left\lceil { } \right\rceil $为上取整操作.k带入式(3)得
下面结合实际图像分析OCIP与小目标表观特性的关系.图 2左列为一幅含有红外小目标的图像及对应的局部图,右列为添加噪声的红外小目标图像及对应局部图,其中区域1、区域2和区域3分别为目标区、平缓背景区和天际线杂波区.
 |
| 图 2 红外小目标图像特性与OCIP关系示意图Fig. 2 Demonstration of relationship between characteristic of infrared small targets image and OCIP |
| 图选项 |
当尺度为s的图像块恰好包含目标时,如图 2(a)中区域1和图 2(b).因为目标灰度值具有局部显著性,因此图像块中像素灰度值普遍高于邻域中背景像素的灰度值.由于像素尺度亮噪声的存在,图像块中最大灰度值不一定是属于目标,也可能是噪声.图像块灰度顺序特征(如中值)和均值能够比较好地表现目标区特性,当w取合理范围(例如w∈[0.5,0.8])时,对任意l,通常满足
式中:median(
当图像块位于平缓的背景区时,如图 2(a)中区域2和图 2(c),如果邻域中存在杂波或者目标,则图像块中像素灰度值普遍比该邻域中背景像素的灰度值低;若图像块邻域也为平缓背景区,则图像块中像素灰度值普遍与邻域中背景像素的灰度值相当.因此,当w取合理范围(例如w∈[0.5,0.8])时,对任意l,位于平缓背景区的图像块以较高的概率满足
当图像块位于云层、天际线、杂波类等高灰度背景区时,如图 2(a)中区域3和图 2(d),因为该类背景没有孤立性,其邻域中总会存在相容杂波,图像块中像素灰度值与该邻域内像素的灰度值大致相当(此时该邻域对应的l较大);若图像块的邻域为平缓背景,则图像块中像素灰度值普遍高于该邻域内像素的灰度值(此时该邻域对应的l较小).因此,对于所有邻域h,当w取合理范围(例如w∈[0.5,0.8])时,对于较大的l,同样满足式(6);对于较小的l,通常满足
根据以上分析可知,红外小目标的表观特征与OCIP存在密切关联,而且OCIP能够较好地排除PNHB干扰.更为重要的是,当l较大时,OCIP对于目标和非目标的显著程度有很好的区分性,因此,取l=8.考虑到每个图像块有8个邻域且$\underset{\text{h=1,2,}...,8}{\mathop{\text{sor}{{\text{t}}_{\text{l}}}}}\,$(median(
因此,式(8)和式(9)均能一定程度地区分红外小目标:
式中:max()为求最大值算子,w∈[0.5,0.8].
由第1.2节分析与式(8)和式(9),对于位于小目标区域的图像块,在w∈[0.5,0.8]时通常满足Cs(i,j)($\left\lceil w\times {{s}^{2}} \right\rceil $)>sort$\left\lceil w\times {{s}^{2}} \right\rceil $(
2.3 基于级联MOCIP的小目标显著性检测在图像空间
研究显示,视觉皮层中简单细胞和复杂细胞的沟通桥梁是计算池模型,最大化计算池模型是简单细胞向复杂细胞汇集的方式[26].又由于多尺度最大值合并操作的结果具有尺度不变性[11],因此将各尺度OCIP进行最大值合并操作得到全局图像块统计序对比特性图
在图像空间
式中:std()为计算标准差算子;r为常数.由于红外小目标图像中大部分为背景,在显著性图中只有目标会被突显,因此目标区域会成为
生成红外小目标显著性图并检出目标的算法伪代码为:
第1步:输入
第2步:
第3步:Th=mean(
3 实验结果与分析本文实验硬件平台基于2.20GHz英特尔酷睿2双核处理器、内存为2GB的笔记本电脑;软件平台为MATLAB®R2011b.为了描述红外图像质量和复杂程度,引入红外图像工程中常用的全局信噪比GSNR[10]与局部信噪比LSNR作为评价参数,其计算公式分别为
式中:μt为目标区的灰度均值;μg为全局图像的灰度均值;μb为目标所在局部区域背景的灰度均值;σl为目标所在局部区域的标准差;σg为整幅图像的标准差.
3.1 本文算法显著性检测效果为验证本文算法对红外小目标显著性检测的性能,采用4幅分辨率为128pixels×128pixels且含有红外小目标的图像(见图 3(a))对算法有效性进行验证,其中第1幅(目标1)为地空复杂背景中的飞机目标,取自俄亥俄州立大学(OSU)红外图像数据集,第2幅(目标2)为复杂云层背景中的飞机目标,取自文献[3],第3幅(目标3)为第2幅图像添加噪声密度为0.2的椒盐噪声生成的图像,第4幅(目标4)为第2幅添加均值为0、方差为0.02的高斯白噪声生成的图像,算法中参数w与Δw分别取0.55与0.15.
 |
| 图 3 本文算法性能验证实验结果Fig. 3 Validation experiments results of proposed method |
| 图选项 |
表 1列出了图 3中4幅目标图像的GSNR、LSNR和目标位置坐标.图 3(b)为原始红外图像的三维显示图;图 3(c)为经过单次MOCIP处理的初级显著性图;图 3(d)为初级显著性图的三维显示图;图 3(e)为级联MOCIP处理的显著性图及目标检测结果;图 3(f)级联MOCIP为显著性图的三维显示图.从图 3和表 1中可以看出,虽然这4幅图像中小目标均可通过主观视觉检出,但几乎都被杂波所淹没,背景较为复杂,目标信噪比很低.实验结果表明本文算法能够较好地抑制复杂背景和噪声,在低信噪比条件下获得红外小目标的视觉显著性图并有效检出目标.
表 1 实验图像中目标的相关参数Table 1 Related parameters of targets in experimental images
| 目标 | 1 | 2 | 3 | 4 | 5 | 6 |
| GSNR | 0.80 | 0.47 | 0.18 | 0.49 | 1.70 | 0.36 |
| LSNR | 1.25 | 0.64 | 0.38 | 0.26 | 1.54 | 0.28 |
| 位置 | (108,33) | (98,58) | (98,58) | (98,58) | (96,43) | (96,43) |
表选项
3.2 与其他检测方法的对比为了进一步衡量算法的有效性,将本文MOCIP算法与基于Max-Median滤波的检测方法[20]、Top-Hat法[4]、Itti显著性检测法[13]、GBVS法[14]、Hou法[15]和VC法[16]进行了对比.
如图 4所示,实验采用分辨率为128pixels×128pixels的两幅红外小目标图像,其中第1幅(目标5)为云层背景下的红外小目标图像,信噪比较高,通过主观视觉可以较容易地检出目标;第2幅(目标6)为第1幅添加均值为0、方差为0.01的高斯白噪声和密度为0.1的椒盐噪声的复合图像,信噪比很低,通过主观视觉仅能勉强检出目标.表 1列出了图 3和图 4中的6幅目标图像的GSNR、LSNR和目标位置坐标.算法中参数w与Δw分别取0.55与0.15.
 |
| 图 4 红外小目标显著性检测对比实验结果Fig. 4 Results of comparison experiments in detecting the saliency of infrared small target |
| 图选项 |
在图 4中,图 4(a)为两幅原始图像及对应的三维网状显示图;图 4(b)为Max-Median滤波检测结果,图 4(c)为Top-Hat法检测结果,图 4(d)为Itti法检测结果,图 4(e)为GBVS法检测结果,图 4(f)为Hou法检测结果,图 4(g)为VC法检测结果,图 4(h)为采用本文MOCIP法检测结果.对比实验结果可知,传统红外小目标检测方法及视觉显著性检测方法能够很好地对高信噪比目标进行显著性检测,但抗噪能力较弱,鲁棒性较差,对低信噪比小目标的检测性能较差,甚至失去检测能力.而本文提出的基于MOCIP的方法在高信噪比和低信噪比条件下均能实现对小目标的显著性检测.
4 结 论本文对红外小目标若干表观特征及其视觉显著性进行了分析,受视觉注意机制启发提出一种基于图像块的红外小目标视觉显著性鲁棒检测方法,采用级联MOCIP算法获得红外小目标显著性图,然后利用自适应阈值能够有效实现目标检测.使用了红外小目标图像对检测性能进行了实验,并与其他检测方法进行了对比.实验结果表明:
1) 所提出的方法能够在背景复杂和低信噪比条件下有效地实现红外小目标显著性检测,在所有实验图像中均能有效地检测出红外小目标.
2) 在应用于红外小目标检测时,本文方法对小目标视觉显著性的检测性能优于Max-Median滤波法、Top-Hat法、Itti法、Hou法、GBVS法、VC法等传统显著性检测和小目标检测方法,具备可观的抗噪能力,体现出较好的鲁棒性,也能够有效降低虚警率.
需要指出的是,本文提出的方法基于视觉注意机制,能够有效抑制PNHB,在强噪声条件下对单个像素小目标检测能力有限,因此应用的前提是红外目标具有高出周围背景的灰度值且主观视觉可辨.
参考文献
| [1] | Liu L,Huang Z.Infrared dim target detection technology based on background estimate[J].Infrared Physics & Technology,2014,62:59-64. |
| Click to display the text | |
| [2] | 毛峡,常乐,刁伟鹤.复杂背景下红外点目标探测概率估算[J].北京航空航天大学学报,2011,37(11):1429-1434. Mao X,Chang L,Diao W H.Estimation for detection probability of infrared point target under complex backgrounds[J].Journal of Beijing University of Aeronautics and Astronautics,2011,37(11):1429-1434(in Chinese). |
| Cited By in Cnki | |
| [3] | 刘运龙,薛雨丽,袁素真,等.基于局部均值的红外小目标检测算法[J].红外与激光工程,2013,42(3):814-822. Liu Y L,Xue Y L,Yuan S Z,et al.Infrared small targets detection using local mean[J].Infrared and Laser Engineering,2013,42(3):814-822(in Chinese). |
| Cited By in Cnki (11) | Click to display the text | |
| [4] | Tom V T,Peli T,Leung M,et al.Morphology-based algorithm for point target detection in infrared backgrounds[C]//Optical Engineering and Photonics in Aerospace Sensing.Bellingham,WA:International Society for Optics and Photonics,1993:2-11. |
| Click to display the text | |
| [5] | 方义强,程正东,樊祥,等.一种基于方差标记的形态学红外小目标检测算法[J].电子学报,2015,43(2):338-343. Fang Y Q,Cheng Z D,Fan X,et al.A morphology algorithm for IR dim target detection based on variance-mark[J].Acta Electronica Sinica,2015,43(2):338-343(in Chinese). |
| Cited By in Cnki | Click to display the text | |
| [6] | 马科,彭真明,何艳敏,等.改进的非下采样Contourlet变换红外小目标检测方法[J].强激光与粒子束,2013,25(11):2811-2815. Ma K,Peng Z M,He Y M,et al.An improved method for dim infrared target detection with nonsubsampled contourlet transform[J].High Power Laser and Particle Beams,2013,25(11):2811-2815(in Chinese). |
| Cited By in Cnki (8) | Click to display the text | |
| [7] | Bai X,Zhou F.Analysis of new top-hat transformation and the application for infrared dim small target detection[J].Pattern Recognition,2010,43(6):2145-2156. |
| Click to display the text | |
| [8] | 薛永宏,饶鹏,樊士伟,等.基于生成MRF和局部统计特性的红外小目标检测算法[J].红外与毫米波学报,2013,32(5):431-436. Xue Y H,Rao P,Fan S W,et al.Infrared dim small target detection algorithm based on generative Markov random field and local statistic characteristic[J].Journal of Infrared and Millimeter Waves,2013,32(5):431-436. |
| Cited By in Cnki (2) | Click to display the text | |
| [9] | 许庆晗,金立左,费树岷.采用监督特征学习的红外小目标检测[J].东南大学学报:自然科学版,2011,41(5):1008-1012. Xu Q H,Jin L Z,Fei S M.Small infrared target detection via supervised feature learning[J].Journal of Southeast University:Natural Science Edition,2011,41(5):1008-1012(in Chinese). |
| Cited By in Cnki (4) | Click to display the text | |
| [10] | 胡暾,赵佳佳,曹原,等.基于显著性及主成分分析的红外小目标检测[J].红外与毫米波学报,2010,29(4):303-306. Hu T,Zhao J J,Cao Y,et al.Infrared small target detection based on saliency and principle component analysis[J].Journal of Infrared and Millimeter Waves,2010,29(4):303-306(in Chinese). |
| Cited By in Cnki (28) | Click to display the text | |
| [11] | Chen C Philip L,Li H,et al.A local contrast method for small infrared target detection[J].IEEE Transactionson Geoscience and Remote Sensing,2014,52(1):574-581. |
| Click to display the text | |
| [12] | Yang C,Ma J,Zhang M,et al.Multiscale facet model for infrared small target detection[J].Infrared Physics & Technology,2014,67:202-209. |
| Click to display the text | |
| [13] | Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259. |
| Click to display the text | |
| [14] | Harel J,Koch C,Perona P.Graph-based visual saliency[C]//Proceedings of the 20th Annual Conference on Neural Information Processing Systems,NIPS 2006.New York:Neural Information Processing System Foundation,2007:545-552. |
| [15] | Hou X D,Zhang L.Saliency detection:A spectral residual approach[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2007).Washington,D.C.:IEEE Computer Society Press,2007:1-8. |
| Click to display the text | |
| [16] | 李德仁,胡晓光,朱欣焰.基于视觉反差的显著图生成与目标检测[J].武汉大学学报:信息科学版,2012,37(4):379-383. Li D R,Hu X G,Zhu X Y.Visual contrast based saliency map generation and object detection[J].Geomatics and Information Science of Wuhan University,2012,37(4):379-383(in Chinese). |
| Cited By in Cnki (1) | Click to display the text | |
| [17] | 王岳环,张天序.基于视觉注意机制的实时红外小目标预检测[J].华中科技大学学报,2001,29(6):7-9. Wang Y H,Zhang T X.Real-time pre-detection for IR small target based on attention mechanism[J].Journal of Huazhong University of Science & Technology,2001,29(6):7-9(in Chinese). |
| Cited By in Cnki (16) | Click to display the text | |
| [18] | 姚迅,李德华,黄飞,等.基于视觉注意机制的红外图像小目标检测方法[J].武汉大学学报:工学版,2006,39(6):108-112. Yao X,Li D H,Huang F,et al.Detection of small target in infrared image sequences based on attention mechanism[J].Engineering Journal of Wuhan University,2006,39(6):108-112(in Chinese). |
| Cited By in Cnki (9) | Click to display the text | |
| [19] | Han J,Ma Y,Zhou B,et al.A robust infrared small target detection algorithm based on human visual system[J].IEEE Geoscience and Remote Sensing Letters,2014,11(12):2168-2172. |
| Click to display the text | |
| [20] | Deshpande S D,Meng H E,Venkateswarlu R,et al.Max-mean and max-median filters for detection of small targets[C]//SPIE's International Symposium on Optical Science,Engineering,and Instrumentation.Bellingham,WA:International Society for Optics and Photonics,1999:74-83. |
| Click to display the text | |
| [21] | 黎万义,王鹏,乔红.引入视觉注意机制的目标跟踪方法综述[J].自动化学报,2014,40(4):561-576. Li W Y,Wang P,Qiao H.A survey of visual attention based methods for object tracking[J].Acta Automatic Sinica,2014,40(4):561-576(in Chinese). |
| Cited By in Cnki (9) | Click to display the text | |
| [22] | Frintrop S,Rome E,Christensen H I.Computational visual attention systems and their cognitive foundations:A survey[J].ACM Transactions on Applied Perception,2010,7(1):1-39. |
| Click to display the text | |
| [23] | Frintrop S.Computational visual attentio[M]//Computer Analysis of Human Behavior.London:Springer,2011:69-101. |
| Click to display the text | |
| [24] | Drummond O E.Introduction[C]//Proceedings of SPIE:Signal and Data Processing of Small Targets.Bellingham,WA:International Society for Optics and Photonics,2014,9092:909201-9-909201-12. |
| [25] | Buades A,Coll B,Morel J M.A non-local algorithm for image denoising[C]//Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2005).Piscataway,NJ:IEEE Press,2005,2:60-65. |
| [26] | Sakai K,Tanaka S.Spatial pooling in the secondorder spatial structure of cortical complex cells[J].Vision Research,2000,40(7):855-871. |
| Click to display the text |
