东北大学 理学院, 辽宁 沈阳 110819
收稿日期:2021-01-13
基金项目:国家重点研发计划项目(2020YFB1710003)。
作者简介:张雪峰(1966-), 男, 辽宁辽阳人, 东北大学副教授。
摘要:针对多聚焦图像融合问题, 借鉴多尺度融合方法对各个尺度的互补信息进行针对性融合.首先, 运用L0梯度最小化的平滑方法将源图像分解为背景层和细节层, 然后在背景层的融合中运用分数阶边缘检测掩模保持边缘信息, 在细节层中引入分数阶梯度能量算子进行权值分配.实验结果表明, 与整数阶梯度能量清晰度算子相比, 本文所提出的分数阶梯度能量算子符合人眼视觉感知且更加敏锐.上述融合方法有效避免了融合图像中的伪影和块状效应, 更加充分地保留了源图像信息.
关键词:多聚焦图像图像融合分数阶微分多尺度方法
Multi-focus Image Fusion with Multi-scale Based on Fractional Order Differentiation
ZHANG Xue-feng, HE Hao
School of Sciences, Northeastern University, Shenyang 110819, China
Corresponding author: ZHANG Xue-feng, E-mail: zhangxuefeng@mail.neu.edu.cn.
Abstract: Aiming at multi-focus image fusion, the complementary information at each scale is fused in a targeted manner using a multi-scale fusion method. First, the source image is decomposed into a background layer and a detail layer using the L0 gradient minimization smoothing method, and then a fractional-order edge detection mask is used to preserve the edge information in the background layer, and a fractional-order gradient energy operator is introduced in the detail layer for weight assignment. The experimental results show that the proposed fractional-order gradient energy operator is more sensitive than the integer-order gradient energy clarity operator, which is consistent with the human visual perception. The fusion method proposed effectively avoids artifacts and block effects in the fused images, and retains the source image information more fully.
Key words: multi-focused imageimage fusionfractional order differentiationmulti-scale approach
数字图像融合作为图像处理中一个重要的组成部分, 已经广泛应用于智能交通、军事、医学[1]等领域.常见的图像融合包括多聚焦图像融合、医学图像融合、红外和遥感图像融合等.由于现代成像设备聚焦能力有限, 对同一场景取景所得的图像只在焦点周围成像清晰, 而其他区域较为模糊.多聚焦图像融合拟解决的问题是将多幅聚焦图像合成一幅各个区域都清晰的全聚焦图像, 以便于后续人眼视觉的感知理解和计算机的分析处理.
多聚焦图像融合的研究方法基本可分为两大类: 基于变换域的融合方法和基于空间域的融合方法.其中, 基于变换域的融合方法通常需要先运用图像分解或某种表示方法将源图像转换到变换域, 然后设计融合策略, 将转换后的系数合并, 最后对融合系数进行相应的逆变换来重建融合图像.其经典的算法包括基于梯度金字塔的多聚焦图像融合方法[2], 基于离散小波变换的融合方法[3], 基于稀疏矩阵表示的融合方法[4]等.与变换域的融合方法相比, 基于空间域的方法在图像融合过程中保留的源图像信息最丰富.该方法直接对源图像像素进行分析处理, 这样可以尽可能地保存源图像特征, 并且其计算相对简单, 便于实现.常见的空间域融合方法包括基于块的分割方法[5], 其通常利用方差、梯度能量、空间频率等算子作为焦点测度的评价指标, 对预先划分为固定块的源图像设定基于阈值的自适应融合策略来获得融合块, 进而得到融合图像.由于上述基于固定块的划分通常是根据经验设定的, 该方法往往由于分块大小选择不当而产生块状效应.为了提高源图像分割的灵活性, 提出了基于不规则区域分割[6]和基于像素分割[7]的融合方法, 运用这些方法能有效避免融合结果中的块状效应, 且融合的信息更为完整.上述两种方法的融合图像虽然能从视觉上较好地反映源图像的基本特征信息, 但是其融合结果对算法的分割效果有较强的依赖性.文献[8]中提出基于两尺度的图像分解方法, 将源图像分解为基础层和细节层, 并运用基于引导滤波的加权分配方法进行图像融合.与基于区域和像素分割的融合方法相比, 多尺度方法可以更有针对性地融合图像中不同特征信息, 且克服了区域分割不确定的问题.然而文献[8]中利用均值滤波进行分层时对边缘信息提取不够充分, 在某些情况下引起融合图像边缘细节信息丢失等问题.因此, 本文利用基于L0梯度最小化的方法对图像进行分层, 这样可以有效保留源图像边缘信息, 使融合结果更加丰富.据作者所知, 该分层方法还未运用于多聚焦图像融合的多尺度分解中.
分数阶微积分由于其具有全局性、记忆性等特点被广泛应用于数字图像处理中.文献[9]中提出非整数步长的分数阶微分插值方法, 并运用其构造分数阶微分掩摸进行图像边缘检测.相比于经典的整数阶边缘检测算子, 分数阶算子能检测出更多的边缘信息.文献[10]中利用分数阶微分算子, 有效地对图像进行去噪和增强.文献[11]中利用分数阶全变分方法, 对医学图像进行了充分的融合.分数阶微分算子能够有效地保留图像的纹理细节, 但其还未能广泛地应用于多聚焦图像的融合.因此, 本文构建一种分数阶梯度能量算子, 并将其作为清晰度评价算子运用在多聚焦图像的融合过程中.
本文结合L0梯度最小化的图像平滑方法, 首先将图像分为包含整体特征和大边缘的背景层和富含大量纹理细节的细节层;相对于运用滤波方法进行图像分层, 该分解方法可以有效保留源图像的边缘信息, 便于后续融合策略的制定及融合图像边缘的保持.然后利用具有全局特性的分数阶边缘检测算子和本文提出的分数阶梯度能量算子分别对背景层和细节层进行融合.最后将融合后的背景层和细节层进行重构, 得到最终融合结果.
1 准备知识1.1 分数阶微分算子分数阶微分, 即分数阶导数, 是传统意义上对函数求导的阶次从整数向有理分数、无理分数, 乃至复数的推广.相比整数阶导数, 分数阶导数运算具有全局相关性, 能够更好地体现系统函数变化的历史依赖过程, 而整数阶导数运算只依赖于局部函数值, 不适合反映带有遗传特性、记忆特性等更为复杂的物理现象.迄今, 分数阶微分最常见的定义有三种: Riemann-Liouville(R-L)定义、Caputo定义和Grümwald-Letnikov(G-L)定义[12].由于在实际数值计算中, 使用G-L定义计算分数阶导数只需要信号的离散采样信息而不需要信号的整数阶导数或积分值, 故最适合运用在数字图像处理中. G-L定义如下:
(1) |
1.2 分数阶边缘检测微分掩模分数阶微分算子可以加强图像的高频信号, 并对低频信号具有非线性的保留作用; 因此在对图像边缘的处理中, 运用分数阶微分算子既可以增强图像的边缘特征, 还能保留图像平滑部分的轮廓信息.相比于利用整数阶微分得到的边缘检测掩模, 分数阶微分掩模可以检测到更为丰富的图像纹理细节.
当式(1)中的N足够大时, 极限符号可以被去除, 式(1)改写为
(2) |
(3) |
(4) |
图 1(Fig. 1)
图 1 分数阶八方向微分滤波器Fig.1 Fractional order eight-direction differential filters |
利用上述掩模检测图像边缘时, 较为常见的选取方法是将图像兴趣点s0(x, y)置于每一个掩模的p0α处分别进行卷积, 并使所获得的值组成一个八维分数阶梯度向量, 将向量分量模的最大值作为该点的梯度近似值.运用此方法可以有效检测出更加丰富的轮廓细节信息.
1.3 基于L0梯度最小化图像平滑与引导滤波图像平滑的目的在于抹平图像中细小的纹理信息.通常的平滑方法是利用具有平滑性质的掩模与图像进行卷积操作.常用的高斯滤波、均值滤波虽然能有效抑制图像的高频信息, 但是由于图像的高频信息中除了纹理细节、噪声以外还包含图像大的边缘轮廓, 故这些方法在抹平细节的同时也模糊了重要的边缘信息.而文献[13]中提出的基于L0梯度最小化的平滑方法可以在抹平细节纹理的同时尽可能多地保留图像边缘.其平滑方法首先定义了图像梯度测度的计算公式:
(5) |
引导滤波[8]作为一种局部线性滤波器可以有效地保持图像边缘, 加强图像的纹理细节, 保留图像整体的视觉特征.相比于非线性双边滤波, 引导滤波因其运算速度快、便于实现的优点而广泛应用于图像融合、去雾等领域.该方法局部上假定输出图像I为引导图像Z的线性模型:
(6) |
(7) |
(8) |
图 2为上述融合方法的算法框架图,图中FEOG为分数阶清晰度评价函数.
图 2(Fig. 2)
图 2 基于L0分解和FEOG的多尺度融合算法框架Fig.2 Multi-scale fusion algorithm framework based on L0 decomposition and FEOG |
多尺度算法的具体分解方法如下:
1) 利用L0梯度最小化的平滑方法分别对已配准的多聚焦源图像S1和S2进行平滑处理, 处理后的图像B1和B2分别为S1和S2的背景层:
(9) |
2) 由得到的背景层构造细节层D1和D2:
2.3 细节层融合及图像重构细节层中包含大量源图像的纹理和细节信息, 在利用设定的空间域清晰度评价算子对源图像进行权值分配时, 选择更敏锐且符合人眼视觉感知的评价函数能够更有效地将每一幅聚焦图像的清晰区域和纹理细节反映到最后的融合结果中.常用于评价M×N区域内的清晰度算子EOG[14]定义如下:
(10) |
上述EOG的定义实质上由整数阶微分差分的梯度掩摸与图像卷积得到, 其只利用到区域中像素点周围3×3邻域内的信息.由于数字图像的灰度值在很多情况下是渐变的, 采用此评价指标有时不能准确地将图像中清晰区域表示出来; 而分数阶微分算子作为一种全局算子, 可以利用更大邻域内的像素信息, 进而能更加准确地评价区域的清晰程度.由此定义全新的清晰度评价函数FEOG如下:
根据上述的清晰度评价函数FEOG的定义, 细节层融合方法如下: 首先, 计算细节层图像中每一个像素周围5×5窗口内的FEOG值, 将其累加和作为该像素点的FEOG值, 融合权值为
(11) |
图 3(Fig. 3)
图 3 不同程度高斯滤波下的图像区域Fig.3 Image areas under different levels of Gaussian filtering (a)—原图区域; (b)—r=6, σ=1; (c)—r=6, σ=2; (d)—r=6, σ=3; (e)—r=6, σ=5; (f)—r=10, σ=5. |
图 4(Fig. 4)
图 4 FEOG与σ关系示意图Fig.4 Relationship between FEOG and σ |
图 4中σ的选择范围为0.5~5.4, 步长选择为0.2.从该曲线可以看出, FEOG数值随着高斯滤波平滑参数σ的增大单调减少.需要注意的是, 当σ在0.5到2.5范围内时FEOG变化较快.当σ在2.5~5.4范围内时FEOG变化较慢, 这并不是由于FEOG在该种模糊程度内失效.通过对图 3d和图 3e的视觉感知可以发现两张图的模糊程度没有明显变化.这恰恰表明FEOG算子是一种忠于人眼视觉感知的清晰度算子, 而不仅仅依赖于高斯滤波的平滑参数.
为了进一步证明FEOG算子符合人眼视觉感知, 并且比传统EOG算子更加敏锐, 本文调整模糊半径r为10, 如图 3f所示, 比图 3d和图 3e更加模糊.表 1为EOG算子和不同阶次FEOG算子在模糊程度不同的高斯滤波下采集的数据.由表 1可以计算得到: EOG算子从高斯模糊r=6, σ=1到高斯模糊r=6, σ=5时数值变化率为45.95 %; 从高斯模糊r=6, σ=5到高斯模糊r=10, σ=5数值变化率为35.00 %; FEOG算子在阶次为1.3时的数值变化率分别为53.66 % 和36.84 %; 阶次为1.5时数值变化率分别为55 % 和38.89 %; 阶次为1.7时数值变化率分别为56.10 % 和38.89 %.与EOG算子相比, FEOG算子在对同组不同程度模糊图像的数据采集上变化更加明显, 特别是在r=6, σ=1到r=6, σ=5的模糊程度范围内.因此, FEOG算子更加敏锐, 用其作为清晰度评价算子对多聚焦图像融合进行权重分配更准确.上述实验中, 分数阶阶次的改变对FEOG数值的影响不是特别大, 故本文在进行图像融合实验时选取FEOG变化率相对较大的1.5阶.
表 1(Table 1)
表 1 EOG与FEOG算子对比Table 1 Comparison of EOG and FEOG operators
| 表 1 EOG与FEOG算子对比 Table 1 Comparison of EOG and FEOG operators |
3.2 融合结果与分析图 5为本文实验的源图像, 其来源于https://sites.google.com/view/durgaprasadbavirisetti/datasets.该融合图像数据集由Durga Prasad Bavirisetti提供, 包含医学图像、多聚焦图像、遥感图像等,其图像均为已配准图像并被广泛使用.为了更好地展现融合过程, 图 6中给出第1组源图像分解和各层融合结果.图 7是分别采用基于四叉树(QT)方法[15]、引导滤波(GFF)方法[8]、空间频率(CSF)方法[16]和本文方法针对图 5源图像得到的融合后图像.图像融合的评价指标可以客观反映融合结果的质量, 便于融合方法之间的比较和对本文融合方法的分析.本文的图像融合评价指标采用常见的均方根误差(RMSE)[17], 其值越小, 说明融合图像与理想图像越接近, 融合效果越好.为了使融合效果的客观评价更准确, 本文还选取了另外3个主流评价指标: MS-SSIM[18], Qab/f[19]和RFSIM[20].MS-SSIM为多尺度结构相似性, 该指标反映了两张图像结构的相似程度, 两张图像结构越相似, 其值越接近1.与单尺度评价指标SSIM相比, MS-SSIM具有更好的灵活性且更符合人眼的视觉感知, 其有效性和优越性在文献[18]中得到验证.Qab/f是一种基于梯度计算的图像评价指标, 用于检测从源图像到融合图像的融合过程中梯度信息保留的程度, 其值越大, 说明融合过程中梯度信息保留越多, 融合结果越好.RFSIM是一种基于图像特征相似度的评价方法, 与MS-SSIM评价方法类似, 其值越接近1, 表明两张图特征越相近.针对不同组图像用不同方法得到的评价结果见表 2.
图 5(Fig. 5)
图 5 多聚焦源图像Fig.5 Original multi-focus images (a)(c)(e)一左聚焦; (b)(d)(f)—右聚焦. |
图 6(Fig. 6)
图 6 各层图像及融合结果Fig.6 Images of each layer and fusion results (a)—背景层B1; (b)—背景层B2; (c)—融合背景层B; (d)—细节层D1; (e)—细节层D2; (f)—融合细节层D. |
图 7(Fig. 7)
图 7 不同算法的图像融合结果Fig.7 Image fusion results of different algorithms (a)—QT; (b)—GFF; (c)—CSF; (d)—本文方法. |
表 2(Table 2)
表 2 图 5实验中的评价指标对比Table 2 Performance evaluation of experiments in Fig. 5
| 表 2 图 5实验中的评价指标对比 Table 2 Performance evaluation of experiments in Fig. 5 |
首先, 根据图 7从视觉的角度对图像进行分析.对于第1组盆花图像, 运用QT方法的融合结果中叶片和墙角处的对比度稍弱, 花盆圈状纹理边缘不够清晰.运用CSF方法融合的图像在花盆的圈状纹理处及闹钟表盘下方都产生了块状效应, 这是由于该算法在运用空间频率作为清晰度评价指标对图像进行分块时, 部分区域融合权重系数的选取与人眼视觉感知相违背.GFF方法和本文方法都能准确地将两张聚焦图像中清晰区域融合进结果图像中, 本文融合结果纹理细节更加丰富, 边缘更加清晰.
对于第2组热气球图像, 4种方法融合结果虽都未出现明显的伪影和失真现象, 但本文的融合图像在大边缘(特别是几个较大热气球的褶皱)的保持上更加完整清晰.第3组钟表图像中QT方法在右侧闹钟表盘上密集的竖线处对比度较弱, 线条较模糊; GFF方法部分细节信息有丢失现象且在部分区域对比度较弱; CSF方法在闹钟的大边缘和某些数字上产生了块状效应.相比较而言, 本文方法在未出现伪影和块状效应的基础上能够较为有效地保留源图像边缘轮廓和纹理细节, 融合后图像的视觉效果较好.
其次, 从客观的角度对实验进行评价.由表 2可知,除了第3组实验中本文方法的RMSE指标略低于GFF算法, MS-SSIM指标在第1组和第3组略低于QT方法之外, 其他实验数据均优于对比方法.此外, 本方法结果中的Qab/f和RFSIM指标均为同组最高.远高于对比实验中的QT方法和CSF方法.该结果从客观上表明本文方法对包括边缘和细节的梯度信息及图像整体特征的保留都比其他几种算法更具优势.综合对融合图像主观和客观的分析可知, 本文方法能够充分地融合源图像信息, 且能有效地避免图像融合过程中产生的块状效应.
4 结语基于分数阶微分算子的全局特性, 本文提出一种新的分数阶清晰度评价算子FEOG.相比于传统整数阶EOG算子, FEOG算子可利用像素周围更大窗口内的信息, 其设计更符合图像灰度值渐变的特性.实验表明, 将FEOG算子作为清晰度评价算子符合人眼视觉感知且更加敏锐.此外, 文中利用基于L0梯度最小化的图像平滑方法, 对图像进行多尺度分解.该分解方法能够有效地保留图像的轮廓信息.通过该分解方法针对性地对背景层和细节层进行了融合.实验表明, 本文所提出的多聚焦融合方法从视觉感知和评价指标上优于现有其他融合方法.
后续将进一步研究分数阶阶数自适应的融合方法及更有效的清晰度评价指标.
参考文献
[1] | Yin M, Liu X, Liu Y, et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 68(1): 49-64. |
[2] | Petrovic V S, Xydeas C S. Gradient-based multiresolution image fusion[J]. IEEE Transactions on Image Processing, 2004, 13(2): 228-237. DOI:10.1109/TIP.2004.823821 |
[3] | Pu T, Ni G G. Contrast-based image fusion using the discrete wavelet transform[J]. Optical Engineering, 2000, 39(8): 2075-2082. DOI:10.1117/1.1303728 |
[4] | Zhang Q, Li G H, Cao Y F, et al. Multi-focus image fusion based on non-negative sparse representation and patch-level consistency rectification[J]. Pattern Recognition, 2020, 104: 107325. DOI:10.1016/j.patcog.2020.107325 |
[5] | Sujatha K, Punithavathani D S. Optimized ensemble decision-based multi-focus image fusion using binary genetic Grey-Wolf optimizer in camera sensor networks[J]. Multimedia Tools & Applications, 2018, 77: 1735-1759. |
[6] | Duan J, Chen L, Chen C L P. Multifocus image fusion with enhanced linear spectral clustering and fast depth map estimation[J]. Neurocomputing, 2018, 318: 43-54. DOI:10.1016/j.neucom.2018.08.024 |
[7] | Bouzos O, Andreadis I, Mitianoudis N. Conditional random field model for robust multi-focus image fusion[J]. IEEE Transactions on Image Processing, 2019, 28(11): 5636-5648. DOI:10.1109/TIP.2019.2922097 |
[8] | Li S T, Kang X D, Hu J W. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2864-2875. DOI:10.1109/TIP.2013.2244222 |
[9] | 王斌, 蒲亦非, 周激流. 一种新的分数阶微分的图像边缘检测算子[J]. 计算机应用研究, 2012, 29(8): 3160-3162. (Wang Bin, Pu Yi-fei, Zhou Ji-liu. New fractional order differential based image edge detection operator[J]. Application Research of Computers, 2012, 29(8): 3160-3162. DOI:10.3969/j.issn.1001-3695.2012.08.095) |
[10] | 张雪峰, 闫慧. 基于中值滤波和分数阶滤波的图像去噪与增强算法[J]. 东北大学学报(自然科学版), 2020, 41(4): 482-487. (Zhang Xue-feng, Yan Hui. Image denoising and enhancement algorithm based on the median filtering and the fractional order filtering[J]. Journal of Northeastern University(Nature Science), 2020, 41(4): 482-487.) |
[11] | Zhao W, Lu H. Medical image fusion and denoising with alternating sequential filter and adaptive fractional order total variation[J]. IEEE Transactions on Instrumentation and Measurement, 2017, 66(9): 2283-2294. DOI:10.1109/TIM.2017.2700198 |
[12] | Pu Y F, Zhou J L, Yuan X. Fractional differential mask: a fractional differential-based approach for multiscale texture enhancement[J]. IEEE Transactions on Image Processing, 2010, 19(2): 491-511. DOI:10.1109/TIP.2009.2035980 |
[13] | Xu L, Lu C W, Xu Y, et al. Image smoothing via L0 gradient minimization[J]. ACM Transactions on Graphics, 2011, 30(6): 174-184. |
[14] | Huang W, Jing Z. Evaluation of focus measures in multi-focus image fusion[J]. Pattern Recognition Letters, 2007, 28(4): 493-500. DOI:10.1016/j.patrec.2006.09.005 |
[15] | Bai X, Zhang Y, Zhou F, et al. Quadtree-based multi-focus image fusion using a weighted focus-measure[J]. Information Fusion, 2015, 22: 105-118. DOI:10.1016/j.inffus.2014.05.003 |
[16] | Li S T, Kwok J T, Wang Y N. Combination of images with diverse focuses using the spatial frequency[J]. Information Fusion, 2001, 2(3): 169-176. DOI:10.1016/S1566-2535(01)00038-0 |
[17] | Venkatrao P H, Damodar S S. HWFusion: holoentropy and SP-Whale optimization-based fusion model for magnetic resonance imaging multimodal image fusion[J]. IET Image Processing, 2017, 12(4): 572-581. |
[18] | Wang Z, Simoncelli E P, Bovik A C. Multiscale structural similarity for image quality assessment[C]//The Thrity-Seventh Asilomar Conference on Signals, Systems & Computers. Pacific Grove, 2004: 1398-1402. |
[19] | Piella G, Heijmans H. A new quality metric for image fusion[C]// Proceedings 2003 International Conference on Image Processing. Barcelona, 2003: 173-176. |
[20] | Zhang L, Zhang L, Mou X Q. RFSIM: a feature based image quality assessment metric using Riesz transforms[C]// IEEE International Conference on Image Processing. Hong Kong, 2010: 321-324. |