目前，国内外众多****对红外与可见光图像融合算法进行了研究。基于滤波的图像融合采用滤波算法将图像分解为不同的图像层，通过分层融合实现红外与可见光图像的融合。Kumar[4]采用交叉双边滤波提取源图像的细节图像，根据其水平与垂直方向的信息强度计算归一化权重系数，可用于多种类型图像的融合。Li等[5]采用均值滤波将图像分解为基础层与细节层，结合引导滤波获取的权重图进行分层融合，融合图像具有良好的视觉效果。基于变换域的图像融合采用多尺度几何变换将图像分解为不同的子带，通过子带的融合实现红外与可见光图像的融合。蔡怀宇等[6]通过非下采样轮廓波变换(NSCT)对图像进行分解，结合直觉模糊集与区域对比度设定融合规则，能够有效保留图像的边缘信息。江泽涛等[7]通过非下采样剪切波变换(NSST)对图像进行分解，结合脉冲耦合神经网络(PCNN)设计融合算法，解决了融合图像背景缺失的问题。邓辉等[8]提出非下采样双树复轮廓波变换(NSDTCT)对图像进行分解，结合空域分块法进行图像融合，弥补了融合系数选择易出错的缺陷。吴东鹏等[9]构造非下采样剪切波-对比度变换(NSSCT)对图像进行分解，通过信息互补与显著性增强对子带进行融合，克服了融合图像对比度低的缺点。基于稀疏域的图像融合采用学习字典对图像进行稀疏表示，通过稀疏向量的融合实现红外与可见光图像的融合。Liu等[10]提出卷积稀疏表示，指导图像的细节层进行融合，达到保留图像细节的目的。Zhang等[11]对联合稀疏表示算法的过完备字典获取方式进行改进并制定新的融合规则，可实现多模态图像融合。Liu等[12]在联合稀疏表示算法框架下，整合全局显著图与局部显著图指导图像融合，取得了不错的融合效果。
随着深度学习的兴起，新型的卷积神经网络已逐渐渗透到图像融合领域，以其强大的自主学习能力提取图像的深层次特征辅助图像的融合[13]。Liu等[14]将卷积神经网络与拉普拉斯金字塔相结合设计融合算法，通过参数共享、结构相同的孪生网络提取到的图像特征构建权重图指导图像融合，降低了权重策略设计的复杂度。Li和Wu[15]基于密集连接的方式搭建一种DenseFuse深度学习模型，通过编码-解码过程实现红外与可见光图像的融合，减少了融合过程中信息的丢失。
为了有效融合红外与可见光图像，并进一步提升融合效果，本文提出基于潜在低秩表示分解(Latent Low-Rank Representation Decomposition, DLatLRR)与VGG Net的融合算法，即通过DLatLRR将源图像分解为低秩部分、显著部分及稀疏噪声。为了更好地融合图像的深层次特征，提出基于VGG Net的特征提取算法对低秩部分进行融合；为了突出场景中的感兴趣区域，提出显著度-区域能量联合特征加权算法对显著部分进行融合；为了降低噪声对融合图像的影响，舍弃二者的稀疏噪声。对融合后的低秩部分和显著部分进行图像重建得到融合图像，相对于其他方法具有较为明显的优势。
1 基本理论 1.1 潜在低秩表示分解 2010年，Liu等[16]提出低秩表示(Low-Rank Representation，LRR)理论，在确定学习字典的情况下，将原始数据矩阵表示为字典矩阵下的线性组合且表示系数矩阵低秩(一般选择原始数据本身作为字典)，以达到数据的空间分割与特征提取的目的。但是，当原始数据的抽样不足且噪声影响较大时，该算法的有效性将会有所下降。因此，在LRR的基础上提出潜在低秩表示(Latent Low-Rank Representation，LatLRR)[17]，通过考虑隐藏的数据信息对学习字典的影响，可以提取数据的全局结构和局部结构，相较于LRR具有更强的特征信息提取能力。
LatLRR的数学模型可分为2种情况：
1) 原始数据无噪声。
 | (1) |
2) 原始数据含噪声。
 | (2) |
式中：Q为原始数据矩阵；Z为原始数据最优的LRR系数矩阵；L为显著系数矩阵；E为稀疏噪声矩阵；‖·‖*为核范数；‖·‖1为L1范数；λ>0为正则化平衡参数。当λ→+∞时，式(2)无限趋近于式(1)。
式(1)和式(2)均可看作带有核范数的凸优化问题，由增广拉格朗日乘子(ALM)算法求解。
当原始数据为红外与可见光图像时，本文分别对式(2)所得的QZ与LQ进行双极性优化处理，计算公式如下：
 | (3) |
式中：X为处理前的数据；Y为处理后的数据。
经过式(3)处理后得到图像的低秩部分QZ、显著部分LQ，结合稀疏噪声E，实现红外与可见光图像的DLatLRR。DLatLRR对图像的处理结果如图 1所示。
 |
| 图 1 DLatLRR处理结果 Fig. 1 DLatLRR results |
| 图选项 |
1.2 VGG Net 经典的卷积神经网络由卷积层(Conv)、池化层(Pool)和全连接层(FC)组成，通过卷积、池化操作得到特征图，而后将其转换成一维向量输入全连接层，经分类层实现二分类或多分类。VGG Net由牛津大学Visual Geometry Group提出，相较于之前的网络，VGG Net探索了网络深度与性能之间的关系，通过反复堆叠3×3的卷积核和2×2的最大池化层(Max-Pool)，成功构筑了16~19层深的网络[18]。
VGG Net采用5段卷积结构，每段包含2~3个卷积层，相邻卷积层之间没有连接池化层，仅在每段卷积的末尾处连接一个最大池化层。所有的卷积层均采用小卷积核，不仅可以减少网络参数的数量，还能够增加网络中的非线性单元，从而捕获来自不同方向上像素的变化，使得网络学习特征的能力更强，同时还可以避免大卷积核带来的参数爆炸的影响。图像输入VGG Net后，按顺序经过一系列的卷积核和池化核，提取图像中的主要特征信息并对其进行压缩，以简化网络的计算复杂度；经过5个连续的卷积组后，用3个全连接层来综合卷积层提取到的图像特征，每个全连接层之间添加随机失活，以防止过拟合与梯度消散等问题，最终经softmax输出结果。凭借其独特的网络结构，VGG Net在2014年的ImageNet视觉挑战赛上分别获得定位任务第一名与分类任务第二名。
VGG 16为VGG Net的一种，其网络深度为16层，5个卷积组依次包含2、2、3、3、3个卷积层，共13个卷积层，每个卷积组后接一个最大池化层，共5个池化层，第5个池化层之后跟3个全连接层，最后一个全连接层之后接softmax分类器。当输入VGG 16的图像大小为N×N时，各个卷积层的参数及池化后输出的特征图大小如表 1所示。
表 1 VGG 16结构参数 Table 1 VGG 16 structure parameters
| 卷积组 | 卷积 | 通道数 | 池化 | 输出 |
| 1(1_1, 1_2) | 3×3, 1 | 64 | Max, 2×2 | N×N |
| 2(2_1, 2_2) | 3×3, 1 | 128 | Max, 2×2 | N/2×N/2 |
| 3(3_1, 3_2) | 3×3, 1 | 256 | Max, 2×2 | N/4×N/4 |
| 4(4_1, 4_2, 4_3) | 3×3, 1 | 512 | Max, 2×2 | N/8×N/8 |
| 5(5_1, 5_2, 5_3) | 3×3, 1 | 512 | Max, 2×2 | N/16×N/16 |
表选项
2 图像融合 2.1 融合步骤 设待融合的红外图像为IR，可见光图像为VIS，融合后的图像为F。利用DLatLRR+VGG 16算法对图像融合时，大致可分为图像分解、图像各部分融合、图像重建等步骤，算法的大致流程如图 2所示。
 |
| 图 2 本文算法流程 Fig. 2 Proposed algorithm flowchart |
| 图选项 |
2.2 基于VGG 16的低秩部分融合算法 低秩部分类似于源图像的平滑版本，包含图像的大部分有效信息，为了更好地对其进行融合，引入VGG 16卷积神经网络提取图像的深度特征辅助设计融合规则。卷积层作为卷积神经网络的基本结构之一，能够通过卷积运算提取图像的特征，且随着卷积层数的加深，提取到的图像特征也越来越抽象。
根据表 1可知，VGG 16网络的第5个卷积组所提取的图像特征过于抽象，且输出的特征图尺寸与源图像细节内容图差距过大，因此本文算法以前4个卷积组的输出为基础构建权重图，指导红外图像与可见光图像的低秩部分融合，权重图的获取流程如图 3所示。具体融合步骤如下：
 |
| 图 3 联合特征权重图获取流程 Fig. 3 Joint feature weighting map acquisition process |
| 图选项 |
步骤1??将红外与可见光图像的低秩部分{ GVIS, GIR}分别输入VGG 16网络，提取第i个卷积组的输出{OVISi, m, OIRi, m}，i=1, 2, 3, 4分别代表第1、2、3、4个卷积组，m为第i个卷积组输出特征图的通道数，根据卷积核的数量决定，m∈{1, 2, …, M}，M=64×2i－1。根据表 1中所示VGG 16网络中各卷积层所包含的卷积核数量可知，Oi, 1:M是一个M维的向量，Oi, 1:M(x, y)表示Oi, m在位置(x, y)处的值，根据L1范数对输出的多通道特征图进行压缩，得到单通道特征图{ CVISi, CIRi}，计算公式如下：
 | (4) |
步骤2??为了使融合后的图像更加自然，引入3×3的均值滤波对单通道特征图进行平滑，而后计算初始的归一化自适应权重{wVISi, wIRi}，公式如下：
 | (5) |
步骤3??卷积神经网络中的池化层是一种数据下采样操作，池化后的特征图大小变为原来的1/s，s为池化算子的步长。VGG 16中的池化步长固定为2，不同的卷积组输出的特征图大小为原图的1/2i－1。根据图像融合的尺寸一致原则，采用上采样对权重图{wVISi, wIRi}进行尺寸重整，得到尺寸大小与原始低秩部分一致的4组权重图{WVISi, WIRi|i=1, 2, 3, 4}，并以此分别对红外与可见光图像的低秩部分进行融合，计算公式如下：
 | (6) |
步骤4??通过4组权重融合后的低秩部分，每个位置(x, y)处都有4个值，根据绝对值最大准则对同一位置的4个值进行选取，得到融合的低秩部分GF：
 | (7) |
根据式(7)可知，通过综合VGG 16多个卷积组的特征提取结果指导图像低秩部分进行融合，相较于单一的利用网络模型的最终输出进行融合的算法，能够尽量减少图像细节的丢失，更加全面地提取并保留图像的深度特征与有效信息，提升融合效果。
2.3 基于联合特征的显著部分融合算法 显著部分{SIR, SVIS}的融合分为3个阶段：第1阶段主要通过红外与可见光源图像的显著图构建显著度权重，第2阶段主要通过源图像显著部分的区域能量构建能量权重，第3阶段是将前两阶段所得权重进行整合，并对显著部分进行融合。
1) 阶段1
视觉显著图可以识别图像的显著结构、区域或对象，广泛应用于计算机视觉和计算机图形等领域[19]。基于视觉显著图能够反映图像显著特征的特性，本文提出以视觉显著图作为联合权重的组成部分。设图像I，在像素p处的显著度V(p)可根据该像素的强度Ip与其余像素间的整体差异进行计算，公式如下：
 | (8) |
式中：j代表图像的像素；T为像素总数；Ij为像素j处的灰度等级。
Camp红外与可见光图像的显著图及其对应的灰度直方图如图 4所示。
 |
| 图 4 源图像、显著图及灰度直方图 Fig. 4 Source image, saliency map and gray histogram |
| 图选项 |
构建显著度权重时，先根据式(9)遍历计算源图像IR与VIS各个像素点的显著度，输出两者的显著图{ VIR, VVIS}(见图 4(b)、4(d))；再在其基础上结合改进的均值加权规则计算显著度权重{α1, α2}，计算公式如下：
 | (9) |
根据式(9)可知，如果在某个位置的显著度VIR与VVIS相等，则式(9)退变为传统的均值加权；如果VIR相对于VVIS较大，则该位置的显著度权重α1大于0.5，相应的红外图像对显著度权重的贡献较大，反之，当显著度VIR相对于VVIS较小时，该位置的α2大于0.5，则可见光图像的贡献较大。
2) 阶段2
基于区域的图像融合算法大体分为基于区域能量、基于区域梯度和基于区域方差等3类。基于区域梯度和方差的融合均未充分考虑像素间的相关性，无法体现图像的局部特征，具有片面性；只有基于区域能量的融合规则考虑到图像特征是由该区域内多个像素共同表征，且同一区域内的像素具有较强的相关性[20]。因此，本文以区域能量理论结合自适应性准则计算区域能量权重系数，根据区域中心像素及其所对应区域能量的不断变化，调整加权系数自适应的变化，达到融合图像的本身特征并充分保留细节的目的。Camp红外与可见光图像的显著部分、对应的能量图及灰度直方图如图 5所示。
 |
| 图 5 显著部分、能量图及灰度直方图 Fig. 5 Saliency part, energy map and gray histogram |
| 图选项 |
构建能量权重时，先以滑动窗口分别对图像IR、VIS的显著部分{ SIR, SVIS}进行区域分割，求得以像素(m, n)为中心的区域能量EIR(m, n)和EVIS(m, n)，计算公式如下：
 | (10) |
式中：(m′, n′)为区域窗口内的像素相对于中心像素的相对偏移量；X′、Y′为区域窗口的最大行、列坐标，窗口大小一般取3×3；ω=
通过中心像素的不断移动，得到显著部分的能量分布图{EIR, EVIS}(见图 5(b)、5(d))；根据区域能量自适应准则构建能量权重{β1, β2}，计算公式如下：
 | (11) |
根据式(11)可知，若某一区域的能量越大，则与之相对应的加权系数就越大，在最终的能量权重图中所占的比例就越高；反之，较小的区域能量对应较小的加权系数，对能量权重图的贡献也就越小，符合图像本身特征对权重系数的影响。
3) 阶段3
根据阶段1获得的显著度权重图{α1, α2}与阶段2获得的能量权重图{β1, β2}，结合自适应准则计算联合权重图{γ1, γ2}，计算公式如下：
 | (12) |
通过自适应联合权重对显著部分{ SIR, SVIS}进行加权融合，得到融合后的显著部分SF，计算公式如下：
 | (13) |
根据式(13)可知，在图像显著度与区域能量的双重约束下，不仅能够保留图像本身的特征，而且能够突显显著性特征，提升场景的辨识度。
2.4 图像重建 根据不同的融合规则得到融合后的低秩部分GF与显著部分SF后，舍弃稀疏噪声{N1, N2}，进行图像重建，得到融合后的图像F，计算公式如下：
 | (14) |
2.5 算法实现 输入：红外图像IR，可见光图像VIS。
输出：融合图像F。
步骤1??将图像IR与VIS输入DLatLRR模型，输出二者的低秩部分、显著部分和稀疏噪声。
步骤2??基于VGG 16的图像低秩部分融合。
步骤2.1??将低秩部分输入VGG 16网络，提取其深度特征。
步骤2.2??取前4个卷积组的多通道特征图，以L1进行压缩。
步骤2.3??单通道特征图3×3平滑滤波，计算归一化权重图。
步骤2.4??对4组权重图进行上采样，指导低秩部分进行融合。
步骤2.5??以最大值准则选择融合系数，得到融合低秩部分。
步骤3??基于联合特征的图像显著部分融合。
步骤3.1??计算源图像显著度，通过均值加权法构建显著性权重。
步骤3.2??计算显著部分区域能量，通过自适应加权构建能量权重。
步骤3.3??根据显著性权重和能量权重构建联合权重。
步骤3.4??以联合权重指导显著部分融合，得到融合显著部分。
步骤4??舍弃稀疏噪声，将融合低秩部分与融合显著部分进行叠加，得到融合图像F。
3 实验评估 3.1 实验设置 为验证DLatLRR+VGG 16算法的可行性与有效性，从TNO Image Fusion Dataset中选取5组经过配准的红外与可见光图像进行融合实验。实验仿真平台采用配置为Intel Core i7-9700K CPU，主频3.6 GHz，运行内存64 GB，搭载64位Windows 10系统的台式机，编程环境为MATLAB 2018b，结合MatConvNet深度学习工具包，其版本为1.0-beta 25，C++编译环境为VS 2015。在DLatLRR+VGG 16算法中，DLatLRR的正则化平衡参数λ=0.8，分解层数为1，VGG 16参数源于MatConvNet官方发布的VGG 16预训练模型。
此外，将本文算法的融合图像与交叉双边滤波算法(CBF)[4]、引导滤波算法(GF)[5]、卷积稀疏表示算法(CSR)[10]、联合稀疏表示算法(JSR、JSRSD)[11-12]、非下采样轮廓波变换结合稀疏表示算法(NSCT+SR)、非下采样剪切波变换结合脉冲耦合神经网络算法(NSST+PCNN)、孪生卷积神经网络算法(SCNN)[14]及DenseFuse算法[15]的融合结果对比。
3.2 实验分析 实验结果的分析包括主观评价和客观评价2部分。主观评价根据人眼视觉对融合结果的优劣进行直观地判断。5组红外与可见光图像的融合结果如图 6所示，(a)为红外图像，主要用于描述场景中的热源目标等的轮廓，(b)为可见光图像，用于呈现场景的背景信息并捕捉场景的细节特征，(c)~(k)为各种对比算法的融合图像，(c)、(d)、(e)、(f)、(g)、(j)、(k)分别为文献[4]、[5]、[10]、[11]、[12]、[14]、[15]算法的融合图像，(h)、(i)分别为NSCT+SR、NSST+PCNN算法的融合图像，(l)为本文算法的融合图像。
 |
| 图 6 图像融合 Fig. 6 Image fusion |
| 图选项 |
通过图 6的对比可知，CBF算法得到的多组融合图像受噪声的干扰较大，GF算法得到的融合图像整体上可满足场景认知的需求，但是在局部细节的表达上略有不足，CSR算法的融合图像中存在融合不完全引起的黑色斑块，与CBF算法类似，融合图像的视觉效果较差，JSR、JSRSD算法得到的图像中融合不完全的区域较小，但在一定程度上影响图像的视觉效果，NSCT+SR算法的融合图像略显模糊，整体对比度低，图像的可理解性较差，NSST+PCNN算法融合图像的亮度偏低，在场景中的物体融合区域出现了较为明显的黑色重影，SCNN算法的融合图像虽然信息丰富度高，但是图像中显著目标的轮廓不够突出，场景辨识度一般，DenseFuse算法的融合图像在视觉效果上与SCNN类似，而且在图像中人物轮廓的融合处出现了锯齿波纹。综上所述，仅有本文算法的融合图像不仅清晰度高，层次鲜明，细节信息丰富，受噪声影响小，而且图像的对比度较高，场景中的显著区域、显著目标相对更加突出。
主观评价虽然能够较为直接地判定融合结果的优劣，但是不同的人视觉敏感度存在差异，其评判结果具有片面性，因此综合客观评价指标对融合结果进行综合评判。实验采用结构相似性(SSIM)[21]、线性相关度(CC)、峰值信噪比(PSNR)、相关差异和(SCD)[22]及噪声产生率(Nab/f)[23] 5种评价指标进行客观评价。SSIM用于衡量融合图像与源图像的结构相似度，CC用于衡量融合图像与源图像的线性相关程度，PSNR用于衡量融合图像在融合过程中的失真程度，SCD用于衡量融合图像与源图像总的相关性，Nab/f用于衡量图像融合过程中所产生的噪声或伪影，反映图像的清晰程度。其中，除Nab/f之外，其余均为正向指标，数值越大越好，Nab/f值越小越好。5组图像的各项指标如图 7所示。
 |
| 图 7 客观评价指标 Fig. 7 Objective evaluation index |
| 图选项 |
通过图 7可以看出，本文算法所得融合图像的SSIM、CC指标较之对比算法均有较大的领先，说明融合图像与源图像在亮度、对比度等方面具有较高的相似度，在图像的自身结构上高度统一。本文算法的融合图像具有较小的Nab/f值，表明在融合过程中所产生的噪声较小，这是由于算法在融合时舍弃了稀疏噪声部分，使得融合图像的清晰度更高。经测算，本文算法的SCD、SSIM、CC等指标的最大提升值为0.73、0.15、0.1，Nab/f的最大缩减值为0.041 2。对于PSNR指标，本文算法的领先幅度不太大，甚至出现低于对比算法的情况，这是由于PSNR是由2幅图像对应像素点之间的误差决定，并未考虑到人眼的视觉特性，且人眼对误差的敏感度并不是绝对的，因而会出现评价结果与人的主观感觉不一致的情况。综上所述，结合视觉效果评价得出的结论，本文算法确能较好地实现红外与可见光图像的融合。
4 结论 1) DLatLRR算法可较好地对红外与可见光图像进行分解，有效地分离图像的背景信息、提取图像的特征信息并滤出图像的稀疏噪声。
2) DLatLRR+VGG 16算法可实现红外与可见光图像的融合，融合图像的对比度较高、视觉效果好，能够保留源图像的大部分有效信息，更有利于场景辨识；融合图像在SCD、SSIM等评价指标上的提高可达到10%~20%。
为使本文算法能处理各种类型的图片，仍需要优化图像的分解及分解后各部分融合算法的各项参数。
参考文献
| [1] | JIN X, JIANG Q, YAO S W, et al. A survey of infrared and visual image fusion methods[J]. Infrared Physics & Technology, 2017, 85: 478-501. |
| [2] | MA J Y, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]. Information Fusion, 2018, 45: 153-178. |
| [3] | LI S T, KANG X D, FANG L Y, et al. Pixel-level image fusion: A survey of the state of the art[J]. Information Fusion, 2016, 33: 100-112. |
| [4] | KUMAR B K S. Image fusion based on pixel significance using cross bilateral filter[J]. Signal, Image and Video Processing, 2015, 9(5): 1193-1204. DOI:10.1007/s11760-013-0556-9 |
| [5] | LI S T, KANG X D, HU J W. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2864-2875. DOI:10.1109/TIP.2013.2244222 |
| [6] | 蔡怀宇, 卓励然, 朱攀, 等. 基于非下采样轮廓波变换和直觉模糊集的红外与可见光图像融合[J]. 光子学报, 2018, 47(6): 0610002. CAI H Y, ZHUO L R, ZHU P, et al. Fusion of infrared and visible images based on non-subsampled contourlet transform and intuitionistic fuzzy set[J]. Acta Photonica Sinica, 2018, 47(6): 0610002. (in Chinese) |
| [7] | 江泽涛, 吴辉, 周哓玲. 基于改进引导滤波和双通道脉冲发放皮层模型的红外与可见光图像融合算法[J]. 光学学报, 2018, 38(2): 0210002. JIANG Z T, WU H, ZHOU X L. Infrared and visible image fusion algorithm based on improved guided filtering and dual-channel spiking cortical model[J]. Acta Optica Sinica, 2018, 38(2): 0210002. (in Chinese) |
| [8] | 邓辉, 王长龙, 胡永江, 等. 基于非下采样双树复轮廓波与自适应分块的红外与可见光图像融合[J]. 光子学报, 2019, 48(7): 0710006. DENG H, WANG C L, HU Y J, et al. Fusion of infrared and visible images based on non-subsampled duak tree complex contourlet and adaptive block[J]. Acta Photonica Sinica, 2019, 48(7): 0710006. (in Chinese) |
| [9] | 吴冬鹏, 毕笃彦, 何林远, 等. 基于NSSCT的红外与可见光图像融合[J]. 光学学报, 2017, 37(7): 0710003. WU D P, BI D Y, HE L Y, et al. A fusion algorithm of infrared and visible image based on NSSCT[J]. Acta Optica Sinica, 2017, 37(7): 0710003. (in Chinese) |
| [10] | LIU Y, CHEN X, WARD R K, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016, 23(12): 1882-1886. DOI:10.1109/LSP.2016.2618776 |
| [11] | ZHANG Q, FU Y, LI H, et al. Dictionary learning method for joint sparse representation-based image fusion[J]. Optical Engineering, 2013, 52(5): 057006. DOI:10.1117/1.OE.52.5.057006 |
| [12] | LIU C H, QI Y, DING W R. Infrared and visible image fusion method based on saliency detection in sparse domain[J]. Infrared Physics & Technology, 2017, 83: 94-102. |
| [13] | LIU Y, CHEN X, WANG Z F, et al. Deep learning for pixel-level image fusion: Recent advances and future prospects[J]. Information Fusion, 2018, 42: 158-173. DOI:10.1016/j.inffus.2017.10.007 |
| [14] | LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(3): 1850018. DOI:10.1142/S0219691318500182 |
| [15] | LI H, WU X J. DenseFuse: A fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2019, 28(5): 2614-2623. DOI:10.1109/TIP.2018.2887342 |
| [16] | LIU G C, LIN Z C, YU Y. Robust subspace segmentation by low-rank representation[C]//Proceedings of the 27th International Conference on Machine Learning, 2010: 663-670. |
| [17] | LIU G C, YAN S C. Latent low-rank representation for subspace segmentation and feature extraction[C]//IEEE International Conference on Computer Vision. Piscataway: IEEE Press, 2011: 1615-1622. |
| [18] | KAREN S, ANDREW Z. Very deep convolutional networks for large-scale image recognition[C]//International Conference on Learning Representations, 2015, 5(3): 345-358. |
| [19] | MA J L, ZHOU Z Q, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17. |
| [20] | SRIVASTAVA R, PRAKASH O, KHARE A. Local energy-based multimodal medical image fusion in curvelet domain[J]. IET Computer Vision, 2016, 10(6): 513-527. DOI:10.1049/iet-cvi.2015.0251 |
| [21] | WANG Z, BOVIK A C. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81-84. DOI:10.1109/97.995823 |
| [22] | ASLANTAS V, BENDES E. A new image quality metric for image fusion: The sum of the correlations of differences[J]. International Journal of Electronics and Communications, 2015, 69(12): 1890-1896. DOI:10.1016/j.aeue.2015.09.004 |
| [23] | KUMAR B K S. Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform[J]. Signal, Image and Video Processing, 2013, 7(6): 1125-1143. DOI:10.1007/s11760-012-0361-x |
