删除或更新信息，请邮件至freekaoyan#163.com(#换成@)

基于自适应注入模型的遥感图像融合方法*

本站小编 Free考研考试/2021-12-25
遥感的目的是通过获取卫星的光谱测量，提取有关地球表面结构和内容的信息[1]。由于传感器技术的限制，同时在空间域和光谱域上获取高分辨率难以实现，因此通常利用图像处理技术融合现有的2类遥感图像，即高空间分辨率、低光谱分辨率的全色(Panchromatic, PAN)图像和低空间分辨率、高光谱分辨率的多光谱(Multispectral, MS)图像。对于在同一区域同时获得的PAN图像和MS图像，通过适当的算法，将这些数据结合起来，生成具有高空间分辨率和高光谱分辨率的图像，这一过程也称为PAN锐化[2]。遥感图像融合广泛应用于地理、军事、农业、生态环境等领域。
现有的传统PAN锐化方法主要分为2类：一类是成分替代法(Component Substitute, CS)，即将MS图像的成分替换成PAN图像成分，如亮度-色度-饱和度变换法(Intensity-Hue-Saturation, IHS)[3]、主成分分析法(Principle Component Analysis, PCA)[4]、基于施密特正交化方法(Gram-Schmidt, GS)[5]等。基于CS方法的融合结果具有较高的空间分辨率，但其光谱容易失真。另一类是多尺度分析法(Multi-Resolution Analysis, MRA)，即对PAN图像进行多尺度分解后将提取的细节加入到MS图像中。基于MRA的方法和基于CS的方法的主要区别在于如何提取空间细节[6]。对于MRA方法，通过PAN图像与其低通滤波之后的图像之间的差异来获得空间结构信息。传统的MRA方法主要包括基于金字塔分解或者小波变换的方法，如离散小波变换[7]、àtrous小波变换[8]、非抽样的轮廓波变换[9]、非抽样的剪切波变换[10]等。MRA方法可以较好地保存光谱信息，但可能会损失部分空间信息，因此文献[11]提出了一种基于引导滤波多尺度分解的方法，效果有所改进。最新的理论研究提出了稀疏表示(Sparse Representation, SR)的方法[12-13]，以及非线性的途径如卷积神经网络[14]等，取得了较好的效果。但是，这些算法需要大量的计算，运行时间较长，且需要大量的样本。由于遥感图像样本数量的限制，以及算法效率的要求，本文综合考虑了上述几种方法，对基于MRA方法的注入模型进行优化，以实现融合时对光谱信息与细节信息的双保真。
基于MRA方法中关键的一步在于如何提取PAN图像细节。一种较为先进的方法是利用线性时不变的滤波器去匹配MS传感器的点传播函数(Point Spread Function, PSF)。Aiazzi等[15]提出使用高斯滤波器去匹配MS传感器的调制传输函数，但需要使用MS传感器的出厂信息，而该信息不易获得。另一种较为可靠的方法是从现有图像中估计滤波器以模拟MS传感器的PSF。在此框架下，一幅低空间分辨率的MS(Low Resolution MS, LRMS)图像，可以通过滤波器对一幅高空间分辨率的MS(High Resolution MS, HRMS)图像进行空间滤波得到。该滤波器的冲击响应函数可模拟MS传感器的PSF，且该滤波器通常有与高斯模型相似的形状[2, 15]。使用该滤波器卷积PAN图像，所得的高频分量即为HRMS图像中缺失的细节成分，且与MS图像高线性相关。此外，综合考虑光谱的保真和细节的注入，本文提出了一种基于相关性分析的高斯滤波估计和自适应细节注入的遥感图像融合方法。首先，通过引导滤波多尺度分解的注入模型得到初始融合图像；其次，用高斯滤波模拟MS传感器的PSF，并用估计的高斯滤波器卷积PAN图像得到优化的注入细节；然后，递归计算自适应的注入系数，使光谱保真与细节注入达到联合最佳；最后，通过一种新的边缘保持策略，得到融合图像。
本文主要创新点如下：①提出了一种基于高斯滤波估计的细节提取方法，使注入的细节得到优化; ②提出了一种综合考虑光谱信息与细节信息的自适应注入系数模型，实现融合图像对光谱信息与细节信息的双保真; ③提出了一种减少光谱信息损失的边缘保持模型，在增强边缘信息的同时保留光谱信息。
1 相关工作 1.1 注入模型的一般框架 基于MRA方法的注入模型是指通过滤波提取PAN图像细节，再利用注入系数将其注入到MS图像中的一种融合方法。该方法可根据实际需要，组合不同的融合技术，以发挥不同融合技术的优点。基于传统的MRA方法注入模型框架如图 1所示，该注入模型的一般表示形式如下[16]：
图 1 注入模型一般框架 Fig. 1 Basic framework of injection model
图选项




(1)

式中：k={1, 2, …，N}表示N个通道中的第k个子通道；为估计的第k通道的HRMS图像；为经过bicubic上采样之后的第k通道MS图像；Gk为第k通道注入系数；“. *”表示矩阵内积；PI为PAN图像与MS图像的亮度分量I进行直方图均衡化之后的图像；PL为低分辨率版本的PAN图像。
对于注入系数Gk，文献[16]通过迭代算法，提出基于回归模型的通道间权重系数；文献[17]提出基于像素通道间比例的权重系数；文献[18]通过高通调制(High Pass Modulation, HPM)方法，用MS图像和PAN图像的乘法组合作为注入系数。其中，基于通道间比例的注入系数能更好地保持光谱信息，融合效果较好，通道间注入系数定义如下：
(2)

1.2 线性加权法提取I分量 由于注入细节的同时不希望改变色度与饱和度，因此图像融合过程中往往仅对图像的亮度分量进行处理。MS图像的亮度分量I可由如下公式计算：
(3)

式中：αk为通道的组合系数。
文献[19-20]提出I分量可自适应地由各通道线性组合表示，即通过求解以下优化问题得到组合系数：
(4)

式中：P为PAN图像。
在得到MS图像的I分量之后，将P与式(3)的I进行直方图匹配，得到的PI可由如下公式计算：
(5)

式中：mean(P)为P的均值；mean(I)为I分量的均值；std(I)为I分量的标准差；std(P)为P的标准差。
1.3 引导滤波 引导滤波最早由文献[21]提出，其可以保存输入图像的主要信息，同时获得引导图像的变化趋势。将PI作为输入图像，I作为引导图像，PI通过I引导滤波产生PL，获得了与MS图像线性相关的细节信息。引导滤波可由如下简化公式而得：
(6)

式中：GF(·)表示引导滤波函数。
多尺度引导滤波[22]可表示为
(7)

式中：j为引导滤波层数；PLj为PI经第j层引导滤波得到的图像。
2 图像融合方法 目前，遥感图像融合注入模型主要存在2类问题：因PAN图像与MS图像相关性不高导致的光谱失真；细节注入过多或者注入不足。针对上述问题，本文提出了一种基于高斯滤波估计的细节提取及自适应的注入系数优化方法。本文融合方法框架如图 2所示。
图 2 本文融合方法框架 Fig. 2 Framework of proposed fusion method
图选项




首先，根据式(1)，将上采样后的MS图像与PAN图像通过直方图匹配、引导滤波等传统注入模型得到初始融合图像F(1)；其次，进行细节优化，即用多尺度高斯滤波器滤波该初始融合图像以模拟MS传感器的特性，将得到的高斯滤波估计滤波PAN图像，得到优化后的细节；然后，优化注入效益，即综合考虑光谱信息与细节信息计算自适应的注入量系数，具体流程如图 2上虚线框所示，详细算法见2.2节；最后，通过一种自适应的边缘保持权重矩阵保持边缘信息，具体流程如图 2下虚线框所示，详细算法见2.3节。将优化后的细节与注入系数及边缘权重系数相乘以后，注入到上采样后的MS图像中，得到最终的融合图像。
2.1 高斯滤波估计及细节提取 文献[15]提出使用高斯滤波器匹配MS传感器的调制传输函数，即HRMS图像经过MS传感器之后成为LRMS图像，使用高斯滤波模拟该过程，所得的高斯滤波器即为符合MS传感器PSF的滤波估计。使用估计的滤波器卷积PAN图像，提取的细节成分即为低分辨率MS图像所缺失的细节。文献[15]通过实验证明了该滤波估计有较强的鲁棒性，即使在初始融合图像中加入白噪声，也不影响细节的提取。另外，文献[17]提出了二步骤多尺度分解的方法来精细化PAN锐化。受此启发，本文提出使用多尺度高斯滤波模拟MS传感器的PSF，即对初始融合图像F(1)提取亮度分量，记为I1，并迭代地进行高斯滤波，具体可表示为
(8)

式中：I1i为第i次滤波后的图像；HG(·)表示高斯滤波。
为了获取最佳高斯滤波估计，计算式(8)所得的结果I1i与上采样后的MS图像的亮度分量I的相关系数，相关系数最高时，估计的高斯滤波最准确。相关系数计算如下：
(9)

式中：cov(·)表示协方差函数。
随着滤波层次的增加，滤波后的图像与上采样的MS图像越来越接近，达到极大值之后，随着滤波层次继续增加，滤波后图像与上采样的MS图像偏离越来越大。通过迭代计算式(8)和式(9)的值，取得式(9)最大时的迭代次数m，即为所估计的高斯滤波器Hm，表示如下：
(10)

Hm即表示一幅锐化图像经MS传感器模糊化的PSF最佳匹配，将滤波器Hm作用于PAN图像，所提取的细节成分也应符合MS传感器PSF，这样就减少了光谱失真。细节提取D定义如下：
(11)

结合式(1)、式(7)和式(11)，细节优化后，第k通道融合图像Fk(2)可更新为
(12)

2.2 自适应注入量系数 取得优化的注入细节之后，对注入量进行优化。不同的图像有不同的结构特征和光谱信息，从而对细节注入量有不同的要求，直接等比例注入细节容易导致注入过多从而引起光谱失真，或者注入不足导致图像模糊，因此需要通过一个注入量系数g来平衡光谱信息与细节信息。加入该系数后，结合式(12)，新的融合图像Fk(3)可以定义为
(13)

需要对不同结构特征的遥感图像确定不同的注入量系数g。文献[23]认为注入模型中光谱的保真与空间分辨率要求需要保持平衡，可以将两者的评价指标进行加权求和作为融合图像指标，权重表示重视程度。设定细节注入量系数g的初值g和步长r，对于g0≤g≤1，得到相应的融合后图像并计算加权评价指标，取得使该评价指标最高的gmax作为最终的注入量系数。对于评价指标，本文提出了一种基于相关性分析的光谱信息与空间信息综合评价体系，将光谱信息与空间信息的综合评价指标Q定义为
(14)

式中：ESP和EHF分别为光谱信息评价指标和空间信息评价指标；α为两者的权重。
对于一幅由式(13)融合后的图像Fk(3)，其亮度分量记为I3，则ESP用融合后的图像与上采样的MS图像各通道k之间相关系数的平均值来表示，EHF则用I3与PAN图像的线性相关性表示，定义为
(15)

(16)

文献[6]表明，在注入成分与注入量系数g的优化确定上，遵循的前提是MS图像的亮度成分与PAN图像相关性越大，融合效果越好。即若两者相关性高，注入细节的同时能较好地保存光谱信息，此时可以适当增加空间信息的权重，减少光谱信息的权重；反之，若相关性低，则注入的细节容易引起光谱失真，应当增加光谱信息权重而减少空间信息权重。设初值g0产生的融合图像对应的亮度成分记为I0，则式(14)中的权重α可由下式确定：
(17)

平方项的作用为：①避免I0与PI高相关时光谱权重过小；②放大不同图像空间信息之间的区别。
对于不同的注入量系数g，根据式(13)迭代计算Fk(3)，并根据式(14)计算综合评价指标Q，取得使指标Q最高的gmax作为最终融合图像的注入量系数，并得到最后的融合结果。gmax可表示为
(18)

结合式(13)和式(18)，使用优化后的注入量系数，新的融合图像可更新为
(19)

2.3 边缘信息保护 为保持边缘纹理信息，Leung等[20]提出利用边缘信息作为各通道融合权重，Yang等[11, 24]提出利用改进的边缘信息作为注入各像素的权重。其中，改进的边缘信息计算PAN图像的边缘检测矩阵WP，以及上采样后的MS图像各通道的边缘检测矩阵，并将两者进行加权和作为融合图像的边缘信息权重。该方法在边缘信息保护上起到了较好的效果。第k通道的边缘保持权重矩阵Ek定义如下[20]：
(20)

式中：βk为各通道的加权系数，可由式(21)计算得到[11]；边缘检测矩阵[19]可由式(22)得到。
(21)

(22)

式中：A为某图像；▽A为图像A的梯度；λ和ε为调制参数。
式(21)获取各通道的边缘信息权重，在细节上有更好的表现，但作为注入系数时改变了各通道间的比例，光谱信息略有损失。为了尽量保持原有光谱信息，同时实现边缘信息的保持，本文提出一种新的边缘保持权重矩阵。针对式(21)，将求取各通道的边缘检测矩阵替换为求取MS图像亮度成分I的边缘检测矩阵WI，并计算PAN图像的边缘检测矩阵WP与WI加权和，以综合考虑PAN图像和MS图像的边缘信息。边缘保持权重矩阵E可表示为
(23)

式中：WP和WI计算方法同式(22)；自适应的权重因子βnew由式(24)计算，并由式(25)归一化得到。
(24)

(25)

根据式(23)得到的边缘保持权重矩阵E，再结合式(19)，可得到最终融合图像Fk(4)，表示如下：
(26)

与式(20)的边缘保持权重矩阵相比，本文得到的边缘保持权重矩阵E仅对细节成分D产生权重变化，以尽可能增强边缘信息，并不改变通道间的比例，从而减少光谱损失。
3 实验结果分析 3.1 实验设置 为评估本文方法的有效性，使用来自不同遥感卫星的四大数据集，包括QuickBird、IKONOS、WorldView-2及pleiades，这些遥感图像在空间分辨率、光谱波长等方面都有不同的特征，且都包括红、绿、蓝、近红外4个通道。
参数设置中，设置注入量系数初值g0=0.1，步长r=0.05，以综合考虑计算效率与计算精度；高斯滤波器窗口设置为5×5，参考文献[25]中的默认设置；式(22)中设置参数λ=10－9, ε=10－10，同样参考文献[19]中的默认设置。
本文进行了2种类型的实验。一种是对真实图像进行下采样之后的仿真图像，也称为有参考遥感图像融合实验，即遵循Wald协议[26]，原图像作为参考图像，仿真图像包含四大数据集共计80组图片。另一种是真实图像的实验，也称为无参考遥感图像融合实验，真实图像包括四大数据集共计50组图片。
用于对比的方法包括最新的几种方法，其中基于MRA模型的方法有基于调制传递函数模型的多尺度分析方法(CBD)[15]、加性小波亮度比的方法(Additive Wavelet Luminance Proportion, AWLP)[27]、基于双边滤波亮度比的方法(Bilateral Filter Luminance Proportional, BFLP)[28]；将MRA和CS两种模型相结合的方法有基于多尺度引导滤波和改进的成分替代法(Improved IHS and Multi-Scale Guided Filter, IMG)[11]；将注入模型与其他算法相结合的方法有基于抠图模型和多尺度变换的方法(Matting Model and Multi-scale Transform, MMMT)[24]、基于自适应光谱与亮度调制的方法(Adaptive Spectral Intensity Modulation Pansharpening, ASIMP)[25]。对这些方法分别进行主观评价与客观评价，也即定性和定量评价。
3.2 质量评价 评价包括肉眼视觉的主观评价和客观评价指标的定量评价。常用的有参考图像的客观评价指标如下：
1) 相关系数(Correlation Coefficient, CC)[12]。主要用于评价融合图像与参考图像的空间相似度，其值区间为[0, 1]，越接近1表示2幅图像越相近，融合效果越好。
2) 通用图像质量指数(Universal Image Quality Indexes, UIQI)[29]。UIQI联合相关度损耗、亮度失真和对比度失真3个因子来评价融合图像的效果，值区间为[0, 1]。UIQI的值越接近1，说明结构失真越小。
3) 均方根误差(Root Mean Square Error，RMSE)[30]。RMSE计算融合图像与参考图像各像素之间均方根误差，用于表示两者的差异，其理想值为0。
4) 相对平均光谱误差(Relative Average Spectral Error, RASE)[31]。RASE反映融合图像在光谱方面的误差，其理想值为0。
5) 光谱角映射(Spectral Angle Mapper, SAM)[32]。SAM用于度量2幅图像之间的光谱信息接近程度，其值越小，光谱失真越小，理想值为0。
6) 全局相对光谱损失(ERGAS)[33]。ERGAS用于评估融合图像的空间和光谱质量，其值越小说明总体性能越好，理想值为0。
常用的无参考图像的客观评价指标包括Ds、Dλ和QNR[34]。其中，QNR值由Ds和Dλ共同计算而得，并基于UIQI测度评价融合图像和参考图像间的局部相关性、亮度和对比度。Ds和Dλ越小越好，理想值为0，而QNR值越大越好，理想值为1。
3.3 算法性能分析 为了验证2.1节~2.3节提出的优化方法的有效性，定量说明本文方法所带来的性能提升，分别计算各优化步骤的平均客观评价指标。4个优化步骤对应的融合图像表示为：F1表示初始融合图像；F2表示经高斯滤波优化细节后图像；F3表示经自适应优化注入量系数后的图像；F4表示加入自适应边缘保持后的图像。并分别计算80组图像融合结果的平均客观评价指标。这4个步骤是依次递进的过程。为了更直观地展示各指标的相对变化，各客观评价指标分别进行最大值归一化处理，结果如图 3所示。可知，对于初始融合图像F1，注入细节是通过PAN图像与MS图像的I分量进行直方图匹配再由引导滤波得到，细节存在与MS图像线性非相关的问题，且未考虑注入量，从而导致融合结果与参考图像的光谱相关度和空间相关度较低；通过估计的高斯滤波器优化细节后，所得的细节与MS图像有更高的相关性，各项指标明显提升；而优化注入量系数后，有效防止了注入过多或注入不足，所有的指标进一步提升；进行边缘保护后，改进的边缘保持方法在保护边缘信息的同时，减少了光谱失真。随着F2、F3、F4优化步骤的依次进行，总体指标也越来越优。其中SAM指标基本保持平稳，随着优化的进行，SAM指标先小幅上升再小幅降低，说明本文方法对光谱信息损失的影响很小。
图 3 优化过程平均客观评价指标对比 Fig. 3 Average objective evaluation indicator comparison of optimization steps
图选项




如2.3节所述，本文提出的一种新的自适应边缘保持方法是对文献[11]的改进。为了验证本文方法的有效性，在保持前3个步骤不变的前提下，对改进前[11]与改进后的方法在80组遥感图像上进行平均客观评价指标对比，指标同样进行最大值归一化处理，结果如图 4所示。可知，改进后的边缘保持方法在所有指标上都有所提升，其中，在RASE、RMSE及ERGAS等指标上提升效果明显，可知本文方法能有效地提升图像融合的质量，减少光谱损失。
图 4 边缘保持方法改进前后平均客观评价指标对比 Fig. 4 Comparison of average objective evaluation indicators before and after improvement of edge preserving method
图选项




3.4 仿真实验 本文采用3组来自不同卫星的遥感图像作为展示，分别进行主观效果和客观评价指标的评价，然后对80组图像测量平均客观评价指标。
第1组图像来自QuickBird数据集，参考图像大小为256×256，经不同方法融合后主观效果如图 5所示。小红色矩形框区域经放大后在大矩形框中显示。可知，AWLP方法、CBD方法、IMG方法森林区域存在明显光谱失真，与参考图像相比，颜色偏亮；BFLP方法、MMMT方法有稍微的光谱失真，且存在过度注入问题，引入了不必要的噪声。ASIMP方法与本文方法在海滩细节与森林的光谱信息上与参考图像较为接近，难以用肉眼区别，用表 1所示的客观评价指标加以区分。表中：黑体数据表示最优值，下划线数据表示次优值。可知，本文方法除了在SAM指标上比BFLP方法略低以外，在所有其他指标上都达到最优。
图 5 QuickBird数据集遥感图像融合结果 Fig. 5 Fusion results of remote sensing images from QuickBird dataset
图选项




表 1 图 5对应的遥感图像融合结果客观评价指标 Table 1 Objective evaluation indicators of remote sensing image fusion results in Fig. 5
方法CC(1)UIQI(1)RASE(0)RMSE(0)SAM(0)ERGAS(0)
AWLP0.954 30.842 524.337 719.664 94.835 57.141 5
BFLP0.961 50.848 121.473 917.350 92.944 66.763 3
CBD0.974 00.861 918.325 414.806 95.320 45.191 5
IMG0.946 80.842 526.540 421.444 73.506 18.677 0
MMMT0.962 90.844 221.438 417.322 25.585 25.609 1
ASIMP0.977 30.862 417.356 514.024 15.107 44.722 1
本文0.982 90.884 314.008 411.318 82.951 53.964 6


表选项






第2组图像来自WorldView-2数据集，参考图像大小为256×256，经不同方法融合后主观效果如图 6所示，客观评价指标如表 2所示。由图中红色放大矩形框可知，IMG方法有较为明显的光谱真失，亮度偏亮；AWLP方法、BFLP方法和CBD方法有轻微的光谱失真，表现为屋顶区域颜色更浅，且在屋顶、中间白色地面有较为明显的噪声；MMMT方法、ASIMP方法与本文方法能较好地保持光谱信息，但MMMT方法在边缘上更加模糊，而本文方法与参考图像不论在空间信息上还是光谱信息上都更为接近。为更好地区分融合效果，可通过表 2查看融合结果客观评价指标，可知，本文方法在所有指标上都达到最优。
图 6 WorldView-2数据集遥感图像融合结果 Fig. 6 Fusion results of remote sensing images from WorldView-2 dataset
图选项




表 2 图 6对应的遥感图像融合结果客观评价指标 Table 2 Objective evaluation indicators of remote sensing image fusion results in Fig. 6
方法CC(1)UIQI(1)RASE(0)RMSE(0)SAM(0)ERGAS(0)
AWLP0.908 70.846 323.071 425.239 65.531 15.629 8
BFLP0.919 00.850 920.849 922.809 35.185 05.137 5
CBD0.948 30.855 117.116 318.724 85.660 94.210 8
IMG0.916 70.855 820.678 222.621 55.179 15.177 6
MMMT0.936 80.840 117.873 819.553 66.018 04.468 8
ASIMP0.957 60.861 914.912 116.313 64.966 93.712 6
本文0.957 90.862 414.592 515.963 84.7753.639 7


表选项






第3组图像来自pleiades数据集，经不同方法融合后主观效果如图 7所示，客观评价指标如表 3所示。从放大的红色矩形区域可知，AWLP方法、BFLP方法和CBD方法存在较为明显的光谱失真，且引入了较多的噪声；IMG方法、MMMT方法和ASIMP方法有较轻微的光谱失真，引入少量的噪声；而本文方法能在保持空间细节的同时，较好地保留光谱信息，色彩更加真实。对于难以用肉眼明显区分的方法，可通过表 3查看融合结果客观评价指标，可知，本文方法除了在UIQI指标上比ASIMP略低以外，在所有其他指标上都达到最优。
图 7 pleiades数据集遥感图像融合结果 Fig. 7 Fusion results of remote sensing images from pleiades dataset
图选项




表 3 图 7对应的遥感图像融合结果客观评价指标 Table 3 Objective evaluation indicators of remote sensing image fusion results in Fig. 7
方法CC(1)UIQI(1)RASE(0)RMSE(0)SAM(0)ERGAS(0)
AWLP0.922 70.907 319.585 920.150 34.060 04.847 1
BFLP0.926 70.903 421.395 922.012 53.726 15.906 0
CBD0.907 50.892 421.936 622.568 84.207 25.509 9
IMG0.927 80.909 119.256 119.811 03.222 44.840 1
MMMT0.923 20.909 217.370 117.870 64.153 94.347 1
ASIMP0.939 00.918 116.884 717.371 33.573 34.251 1
本文0.940 50.913 315.644 516.095 33.170 03.934 0


表选项






为了更客观地评价各方法的性能，对来自QuickBird、IKONOS、WorldView-2及pleiades四大数据集的共计80组有参考遥感图像融合后计算平均客观评价指标，结果如表 4所示。可知，本文方法在所有的平均客观评价指标上达到了最优。
表 4 80组遥感图像仿真实验的平均客观评价指标 Table 4 Average objective evaluation indicators of simulation experiments from 80 groups of remote sensing images
方法CC(1)UIQI(1)RASE(0)RMSE(0)SAM(0)ERGAS(0)
AWLP0.910 50.865 721.373 014.326 73.718 45.261 6
BFLP0.905 40.827 929.250 618.965 03.900 06.973 7
CBD0.903 30.858 121.788 514.848 64.289 05.579 6
IMG0.904 90.853 822.586 315.437 33.394 05.667 3
MMMT0.914 70.873 318.287 912.496 23.841 84.679 7
ASIMP0.917 40.871 719.916 113.270 73.845 15.072 7
本文0.921 50.881 518.244 712.333 03.303 54.638 0
注：“——”表示平均值。


表选项






3.5 真实图像实验 真实图像的实验采用2组图像进行主观和客观评价，并对所有来自四大数据集的50组真实图像计算平均客观评价指标。
第1组图像来自IKONOS数据集，图像大小为780×608。不同方法融合后的主观效果如图 8所示，相应的客观评价指标如表 5所示。由图 8可知，BFLP方法和MMMT方法在橙色屋顶区域有明显光谱失真，其他方法与本文方法难以用肉眼直接判别，可通过表 5中图 8的客观评价指标来评价，可知，本文方法除了在Ds指标上略低于ASIMP方法以外，其他指标都达到最优。
图 8 IKONOS数据集真实图像融合结果 Fig. 8 Fusion results of real images from IKONOS dataset
图选项




表 5 图 8对应的真实图像定量评价结果 Table 5 Quantitative evaluation results of real image in Fig. 8
方法Dλ(0)Ds(0)QNR(1)
AWLP0.040 30.052 80.909 1
BFLP0.039 40.055 80.906 9
CBD0.039 60.051 30.911 1
IMG0.050 50.056 20.896 1
MMMT0.043 90.071 00.888 2
ASIMP0.035 50.048 10.918 1
本文0.028 10.049 00.924 3


表选项






第2组图像来自QuickBird数据集，图像大小为512×512，融合后视觉效果如图 9所示。可知，AWLP方法、CBD方法和IMG方法亮度偏亮，存在过度注入的问题，其他方法难以用肉眼直接观察，可由表 6中图 9的客观评价指标测量，可知，本文方法在所有客观评价指标上都达到最优。
图 9 QuickBird数据集真实图像融合结果 Fig. 9 Fusion results of real images from QuickBird dataset
图选项




表 6 图 9对应的真实图像定量评价结果 Table 6 Quantitative evaluation results of real image in Fig. 9
方法Dλ(0)Ds(0)QNR(1)
AWLP0.022 00.040 90.938 1
BFLP0.013 90.042 40.944 3
CBD0.026 00.043 90.931 2
IMG0.020 40.046 60.934 0
MMMT0.019 60.043 40.937 8
ASIMP0.019 40.040 10.941 2
本文0.011 70.038 80.949 9


表选项






为更加客观评价不同方法的有效性，本文对来自四大数据集的50组真实图像进行实验，并测算平均客观评价指标，如表 7所示。可知，本文方法所有指标都达到最优。
表 7 50组真实图像的平均定量评价结果 Table 7 Average quantitative evaluation results of 50 groups of real images
方法QNR(1)
AWLP0.018 40.043 10.939 4
BFLP0.018 00.042 10.940 8
CBD0.020 90.043 00.937 1
IMG0.024 50.048 40.928 4
MMMT0.018 60.047 30.935 1
ASIMP0.024 90.047 80.930 6
本文0.013 80.040 80.946 0
注：“——”表示平均值。


表选项






4 结论 1) 本文方法在优化注入细节的过程中使用高斯滤波估计去匹配MS传感器的特性，并用该估计的高斯滤波器去卷积PAN图像，得到优化后的细节。
2) 对于注入效益的优化，本文方法综合考虑光谱信息和细节信息，并建立综合评价指标，以确定自适应的注入量系数。
3) 为加强边缘细节，本文方法提出一种光谱信息保真的自适应边缘提取方法，以对注入效益进一步优化。
4) 通过对来自QuickBird、IKONOS、WorldView-2及pleiades四大数据集的80组仿真图像与50组真实图像进行融合实验，并将本文方法与一些先进的融合方法进行对比，结果表明本文提出的方法在主观和平均客观评价指标上能达到最优。
在未来的工作中，可能需要精细化高斯滤波估计，以得到更准确的滤波器。这些工作将在以后的研究中进一步尝试。

参考文献
[1] GHASSEMIAN H. A review of remote sensing image fusion methods[J]. Information Fusion, 2016, 32: 75-89. DOI:10.1016/j.inffus.2016.03.003
[2] GEMINE V, PAOLO A, ROCCO R, et al. Pansharpening based on deconvolution for multiband filter estimation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(1): 540-552. DOI:10.1109/TGRS.2018.2858288
[3] MALPICA J A. Hue adjustment to IHS pan-sharpened IKONOS imagery for vegetation enhancement[J]. IEEE Geoscience and Remote Sensing Letters, 2007, 4(1): 27-31. DOI:10.1109/LGRS.2006.883523
[4] PSJR C, SIDES S C, ANDERSON J A. Comparison of three different methods to merge multiresolution and multispectral data:Landsat TM and SPOT panchromatic[J]. Photogrammetric Engineering & Remote Sensing, 1991, 57(3): 265-303.
[5] LABEN C A, BROWER B V.Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening: U.S.6011875 A[P].2000-01-04.
[6] MENG X C, SHEN H F, LI H F, et al. Review of the pansharpening methods for remote sensing images based on the idea of meta-analysis:Practical discussion and challenges[J]. Information Fusion, 2019, 46: 102-113. DOI:10.1016/j.inffus.2018.05.006
[7] LI S, KWOK J T, WANG Y. Using the discrete wavelet frame transform to merge Landsat TM and SPOT panchromatic images[J]. Information Fusion, 2002, 3(1): 17-23. DOI:10.1016/S1566-2535(01)00037-9
[8] NUNEZ J, OTAZU X, FORS O, et al. Multiresolution-based image fusion with additive wavelet decomposition[J]. IEEE Transactions on Geoscience and Remote Sensing, 1999, 37(3): 1204-1211. DOI:10.1109/36.763274
[9] CUNHA A L D, ZHOU J, DO M N. The nonsubsampled contourlet transform:Theory, design, and applications[J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101. DOI:10.1109/TIP.2006.877507
[10] YIN M, LIU W, ZHAO X, et al. A novel image fusion algorithm based on nonsubsampled shearlet transform[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(10): 2274-2282. DOI:10.1016/j.ijleo.2013.10.064
[11] YANG Y, WAN W, HUANG S Y, et al. Remote sensing image fusion based on adaptive HIS and multiscale guided filter[J]. IEEE Access, 2016, 4: 4573-4582. DOI:10.1109/ACCESS.2016.2599403
[12] YANG Y, WU L, HUANG S Y, et al. Compensation details-based injection model for remote sensing image fusion[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(5): 734-738. DOI:10.1109/LGRS.2018.2810219
[13] YANG Y, WU L, HUANG S Y, et al. Remote sensing image fusion based on adaptively weighted joint detail injection[J]. IEEE Access, 2018, 6: 6849-6864. DOI:10.1109/ACCESS.2018.2791574
[14] GIUSEPPE M, DAVIDEC, LUISA V, et al. Pansharpening by convolutional neural networks[J]. Remote Sensing, 2016, 8(7): 594. DOI:10.3390/rs8070594
[15] AIAZZI B, ALPARONE L, BARONTI S, et al. MTF-tailored multiscale fusion of high-resolution MS and pan imagery[J]. Photogrammetric Engineering and Remote Sensing, 2006, 72(5): 591-596. DOI:10.14358/PERS.72.5.591
[16] VIVONE G, RESTAINO R, CHANUSSOT J. Full scale regression-based injection coefficients for panchromatic sharpening[J]. IEEE Transactions on Image Processing, 2018, 27(7): 3418-3431. DOI:10.1109/TIP.2018.2819501
[17] YIN H, LI S. Pansharpening with multiscale normalized nonlocal means filter:A two-step approach[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(10): 5734-5745. DOI:10.1109/TGRS.2015.2429691
[18] VIVONE G, ALPARONE L, CHANUSSOT J, et al. A critical comparison among pansharpening algorithms[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(5): 2565-2586. DOI:10.1109/TGRS.2014.2361734
[19] RAHMANI S, STRAIT M, MERKURJEV D, et al. An adaptive IHS pan-sharpening method[J]. IEEE Geoscience and Remote Sensing Letters, 2010, 7(4): 746-750. DOI:10.1109/LGRS.2010.2046715
[20] LEUNG Y, LIU J, ZHANG J. An improved adaptive intensity-hue-saturation method for the fusion of remote sensing images[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 11(5): 985-989.
[21] HE K, SUN J, TANG X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409. DOI:10.1109/TPAMI.2012.213
[22] 杨勇, 阙越, 黄淑英, 等. 多视觉特征和引导滤波的鲁棒多聚焦图像融合[J]. 计算机辅助设计与图形学学报, 2017, 29(7): 1324-1333.
YANG Y, QUE Y, HUANG S Y, et al. Robust multifocus image fusion via multiple visual features and guided filtering[J]. Journal of Computer-Aided Design & Computer Graphics, 2017, 29(7): 1324-1333. DOI:10.3969/j.issn.1003-9775.2017.07.019 (in Chinese)
[23] 敬忠良, 肖刚. 图像融合:理论与应用[M]. 北京: 高等教育出版社, 2007: 160-172.
JING Z L, XIAO G. Image fusion:Principle and application[M]. Beijing: Higher Education Press, 2007: 160-172. (in Chinese)
[24] YANG Y, WANG W G, HUANG S H, et al. Anovel pan-sharpening framework based on matting model and multiscale transform[J]. Remote Sensing, 2017, 9(4): 391-750. DOI:10.3390/rs9040391
[25] YANG Y, WU L, HUANG S Y, et al. Pansharpening for multiband images with adaptive spectral-intensity modulation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(9): 3196-3208. DOI:10.1109/JSTARS.2018.2849011
[26] WALD L, RANCHIN T, MANGOLINI M. Fusion of satellite images of different spatial resolutions:Assessing the quality of resulting images[J]. Photogrammetric Engineering and Remote Sensing, 1997, 63(6): 691-699.
[27] OTAZU X, GONZáLEZ-AUDíCANA M, FORS O, et al. Introduction of sensor spectral response into image fusion methods.Application to wavelet-based methods[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(10): 2376-2385. DOI:10.1109/TGRS.2005.856106
[28] KAPLAN N H, ERER I. Bilateral filtering-based enhanced pansharpening of multispectral satellite images[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(11): 1941-1945. DOI:10.1109/LGRS.2014.2314389
[29] WANG Z, BOVIK A C. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81-84. DOI:10.1109/97.995823
[30] YANG Y, TONG S, HUANG S Y, et al. Multifocus image fusion based on NSCT and focused area detection[J]. IEEE Sensors Journal, 2015, 15(5): 2824-2838.
[31] RANCHIN T, WALD L. Fusion of high spatial and spectral resolution images:The ARSIS concept and its implementation[J]. Photogrammetric Engineering and Remote Sensing, 2000, 66(1): 49-61.
[32] ALPARONE L, WALD L, CHANUSSOT J, et al. Comparison of pansharpening algorithms:Outcome of the 2006 GRSS data fusion contest[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(10): 3012-3021. DOI:10.1109/TGRS.2007.904923
[33] WALD L.Quality of high resolution synthesized images: Is there a simple criterion?[C]//Proceedings of the Third Conference on Fusion of Earth Data, 2000: 99-103.
[34] ALPARONE L, AIAZZI B, BARONTI S, et al. Multispectral and panchromatic data fusion assessment without reference[J]. Photogrammetric Engineering and Remote Sensing, 2008, 74(2): 193-200. DOI:10.14358/PERS.74.2.193


相关话题/图像 信息 光谱 优化 空间
  • 领限时大额优惠券,享本站正版考研考试资料!
    大额优惠券
    优惠券领取后72小时内有效，10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材，产品类型包含电子书、题库、全套资料以及视频，无论您是考研复习、考证刷题，还是考前冲刺等，不同类型的产品可满足您学习上的不同需求。 ...
    考试优惠券 本站小编 Free壹佰分学习网 2022-09-19
  • 基于DCNN和全连接CRF的舌图像分割算法*
    舌诊在中医中占有重要地位，是了解人体状态的重要手段之一。在舌诊中，医生通过观察舌质和舌苔的颜色、形状等特征，为诊断患者的健康状况提供重要依据。在传统的舌诊望诊过程中，医生通常通过自己的眼睛来观察舌头，从而进行判断。然而视觉感知和临床经验的变化往往会导致诊断结果的差异，即诊断结果是主观的。此外，环境因 ...
    北京航空航天大学论文文献 本站小编 Free考研考试 2021-12-25
  • 基于多源图像弱监督学习的3D人体姿态估计*
    基于图像的人体姿态估计是指获得给定图像中人体各部位相对位置信息的过程，可广泛用于视频监控、行为识别及人机交互等多方面领域[1-3]。目前，使用单一的彩色图像或深度图像进行人体姿态估计均已取得了一定的成果[4-8]。相对来说，由于彩色图像更易获得，所以针对单一彩色图像的人体姿态估计的研究更为广泛[9- ...
    北京航空航天大学论文文献 本站小编 Free考研考试 2021-12-25
  • 基于图像纹理的自适应水印算法*
    数字媒体内容的使用和传播在给人们带来方便的同时，也引发了严重的网络版权问题。图像水印技术为数字图像版权的查证提供了技术支撑。它将一个代表版权的数字标记不可察觉地嵌入到图像中(该标记被称为水印)，当发生版权纠纷时，可以通过提取水印来确定图像的所有权。一个好的水印算法必须使嵌入的水印兼备良好的不可见性和 ...
    北京航空航天大学论文文献 本站小编 Free考研考试 2021-12-25
  • 基于美学评判的文本生成图像优化*
    基于给定文本生成对应图像是计算机视觉领域一项经典且富有挑战性的任务，顾名思义，即给出一句描述确定内容的文本(可描述某件物体或某个场景环境)，通过一定架构的模型生成与文本内容相对应的图像，使其尽可能做到逼近现实，能够迷惑人眼的识别或一些模型的判断。该任务需要在理解文本含义的基础上，根据文本的内容构建出 ...
    北京航空航天大学论文文献 本站小编 Free考研考试 2021-12-25
  • 基于蒙特卡罗频率法的葡萄籽总酚含量高光谱测量变量选择*
    近红外高光谱技术是利用物质在近红外光谱区特定的吸收特性，对样品中一种或多种化学成分进行快速检测的方法[1-2]。由于其成本低、速度快、无损检测等优点，已被广泛应用于食品领域[3-5]。近红外高光谱数据具有谱带宽、信号弱和重叠严重的特点，一般由几百到几千个波段组成，相邻波段之间共线性严重，并且包含有大 ...
    北京航空航天大学论文文献 本站小编 Free考研考试 2021-12-25
  • 基于边缘和结构的无参考屏幕内容图像质量评估*
    随着互联网技术的快速发展，屏幕内容图像(ScreenContentImage,SCI)被广泛应用于现代多媒体应用，如无线显示、远程教育、屏幕共享、实时通信等。由于技术和设备的缺陷，在压缩、传输、获取等过程中不可避免地会引入各种失真，影响用户的体验。例如，当利用智能手机中的相机创建屏幕内容图像时，由于 ...
    北京航空航天大学论文文献 本站小编 Free考研考试 2021-12-25
  • 基于多尺度失真感知特征的重定向图像质量评估*
    人们越来越依赖移动设备进行工作和娱乐，例如可以通过展开或闭合屏幕以改变屏幕尺寸的可折叠屏幕设备。因此，如何调整图像大小以适应具有不同大小和宽高比的显示设备屏幕，成为与用户体验相关的重要问题。已经有许多成熟的图像重定向方法被提出。为了理解图像重定向方法，图1展示了原始图像以及MIT数据库中应用8个重定 ...
    北京航空航天大学论文文献 本站小编 Free考研考试 2021-12-25
  • 基于粒子群优化LSTM的股票预测模型*
    股票市场行情预测一直是投资者迫切关注的话题，然而股票数据具有高噪声、动态、非线性和非参数等特点[1]，准确地预测股票价格仍是一项具有挑战性的工作。随着人工智能技术的发展，深度学习以其在机器翻译[2]、语音情感识别[3]、图像识别[4]等方面的优异表现受到广泛关注。与传统统计模型相比，深度神经网络(D ...
    北京航空航天大学论文文献 本站小编 Free考研考试 2021-12-25
  • 基于CNN的多尺寸航拍图像定位方法的研究与实现*
    航拍图像定位大多利用航拍图像的绝对定位。匹配方法中基于特征点的匹配应用最为广泛，适合匹配的特征点有边缘特征[1-3]、点特征[4-6]和区域特征[7-9]等。根据特征空间的不同，基于特征点的匹配方法分为基于特征点局部灰度区域描述符的匹配方法和基于特征点空间结构信息的匹配方法。基于特征点局部灰度区域描 ...
    北京航空航天大学论文文献 本站小编 Free考研考试 2021-12-25
  • 几何不确定性区间分析及鲁棒气动优化设计*
    航空航天工业中，飞行器设计的各参数往往被看作确定的量，但实际上，工程中是无法避免不确定性存在的。例如飞行器结构设计由于制造水平、测量误差等会造成参数的不确定性，飞行器飞行环境及载荷作用也会存在更强的不确定性等[1]。不确定性因素严重影响了与其相对的确定性设计的精度和可靠度，因此，想要获得更可靠更稳定 ...
    北京航空航天大学论文文献 本站小编 Free考研考试 2021-12-25

Free考研考试FreeKaoYan.Com
欢迎来到Free考研考试，"为实现人生的Free而奋斗"

© 2020 FreeKaoYan! . All rights reserved.