早期,大部分工作[4-5]通过直方图调整亮度值的分布对低照度图像进行增强。但是,这些方法往往产生过增强或欠增强的结果,而且忽视了较暗区域中存在的噪声。受Retinex理论[6]启发,****提出对低照度图像I进行分解:
近年来,出现了大量基于深度学习的低照度图像增强方法[16-23],进一步提高增强图像的质量。Wei等[16]提出Retinex-Net网络对低照度图像进行增强,先使用分解网络(Decom-Net)从观测图像中得到反射图和照明图,再利用BM3D[15]和增强网络(Enhance-Net)分别对反射图和照明图进行去噪和增亮,最后通过
为在增强低照度图像的同时抑制噪声,本文首先构造新的目标函数,在数据项中对观测图像进行Retinex分解,在正则项中使用2组不同的高阶滤波器分别约束未知的反射图和照明图。由于高阶滤波器可以学习到多种不同的激活模式,该设计有利于在恢复反射图像的同时抑制噪声污染。其次,在优化求解目标函数时,采用高斯径向基函数(Radical Basis Function, RBF)的线性组合对压缩函数进行参数化,并通过收缩场(Shrinkage Field, SF)求解未知量。参数化的压缩函数能够适度地调整相应滤波器在反射图和照明图上的响应。最后,在每一级联内更新照明图之前,嵌入一个辅助的SF对反射图进行精化,以避免反射图中的噪声和不良伪影在优化过程中传导至照明图。改进的反射图(又称辅助的反射图)具有较高的质量,更有利于精确估计照明图。
1 传统的收缩场模型 Schmidt和Roth[25]在半正定二次分裂(Half-Quadratic Splitting, HQS)方法中摒弃传统的压缩函数,通过引入SF求解非盲图像去模糊问题。
(1) |
式中:X为清晰图像;Y为观测图像;K为模糊核k的BCCB矩阵;η>0为权重参数;“?”为卷积运算符;X(c)为X中的第c个团(Clique);
在文献[25]中,SF定义为清晰图像X的解,在第i个级联中的数学表达式为
(2) |
式中:KT为K的转置矩阵;α>0来自参数η;Fs为滤波器fs的BCCB矩阵;压缩函数φs表示高斯径向基函数的线性组合:
(3) |
其中:M、τ>0、wsri>0和μr分别为径向基核函数的个数、精度、权重和均值。
文献[25]验证了SF模型(2)在图像去噪和非盲图像去模糊中的有效性。随后,该模型推广到其他底层计算机视觉任务,如文档图像去模糊(Document Image Deblurring)[26]、图像去雾[27]和图像超分辨率(Image Super-Resolution)[28]。受这些工作的启发,本文把SF模型用于低照度图像增强任务。
本文和传统SF模型[25]不同,主要有以下3个方面的区别:①传统SF模型仅仅复原清晰图像,而本文在恢复反射图的同时还需要求解照明图,具有更大的挑战性;②文献[25]在每个级联中使用单个SF模型,而本文中的每个级联都由3个不同的SF模型组成;③传统SF模型借助快速傅里叶变换(Fast Flourier Transform, FFT)更新清晰图像,而本文采用文献[27]算法3的思路,借助广义最小化残差(GMRES)方法[29]更新所有未知变量。
2 本文方法 2.1 低照度图像增强模型 图像噪声不可避免地破坏反射图R和照明图L的估计[30]。为克服该问题,本文提出一个新的目标函数对低照度图像进行增强。其中,数据项融入了Retinex分解模型,正则项使用2组不同的高阶滤波器分别约束反射图和照明图。
(4) |
式中:第1项为数据项,来自于Retinex分解
2.2 模型的优化求解
2.2.1 优化反射图和照明图 由于反射图R和照明图L均为未知量,采用交替迭代策略求解低照度图像增强模型(4)。为此,在RGB颜色空间中对低照度图像的每个像素点求最大值,获得初始照明图L*。
1) 更新反射图R。固定式(4)中的照明图L,保留与反射图R有关的项,得到如下子问题:
(5) |
受文献[25]的启发,式(5)在第i个级联中的解可以表示为SF模型。
(6) |
式中:LD为向量L的对角化矩阵;压缩函数φsi(l)定义为式(3)中高斯径向基函数的线性组合,其中参数wsri为未知量。
借鉴文献[25]的做法,本文在式(3)中使用M=53个高斯径向基函数,这些函数的均值μr均匀地分布在-1.1~1.1的范围内。为论述方便,SF模型(6)简记为模型参数Ψi=(αi; fsi; wsri)。需要注意,在式(6)中用辅助的反射图
2) 更新辅助反射图
固定照明图L,辅助的反射图
(7) |
式中:
此外,为记述方便,SF模型(7)简记为模型参数
为更新照明图L,首先在目标函数中固定反射图R,保留与L有关的项。其次,用更精确的辅助反射图代替原来的反射图R,得到如下子问题:
(8) |
式中:
式(8)中照明图L在第i级联中的解表示为SF模型。
(9) |
式中:E为单位矩阵;
为使用方便,将SF模型(9)简记为模型参数
综上所述,本文提出的低照度图像增强方法步骤如下所示,流程如图 1所示。
图 1 低照度图像增强方法流程 Fig. 1 Flowchart of low-light image enhancement method |
图选项 |
步骤1??输入低照度图像I。
步骤2??按像素计算RGB通道的最大值作为照明图L*,并用其初始化变量L0。
步骤3??通过计算式(6)更新反射图Ri。
步骤4??通过计算式(7)更新辅助的反射图
步骤5??通过计算式(9)更新照明图Li。
步骤6??如果迭代次数i小于最大迭代次数maxIter,转到步骤3。否则,输出反射图RmaxIter和照明图LmaxIter。
对引入的辅助反射图
由于αi在图像增强过程中固定不变,式(6)的结果Ri-1可能含有残留噪声和不良伪影,尤其在第i=1个级联中。同时,式(9)中Iq左边的矩阵本应含有极少的噪声,以利于更新照明图Li。如果该矩阵含有明显的残留噪声,由式(9)估计的照明图Li也往往被噪声污染。因此,为更好地保证优化结果的质量,将反射图R替换为更精确的辅助反射图
2.2.2 学习收缩场模型 为方便论述,2.2.1节潜在地假设SF模型Ψi、
1) SF模型Ψi。通过最小化损失函数
(10) |
式中:Rgt为反射图的真值。
根据式(6), Ri为模型参数Ψi的函数,所以
(11) |
2) SF模型
(12) |
式中:Lgt为照明图的真值。
根据式(7)和式(9),
(13) |
把这些梯度嵌入到有限存储BFGS求解器[31]中学习模型参数Ψi、
步骤1??输入合成的低照度图像I、反射图真值Rgt和照明图真值Lgt。
步骤2??对每幅低照度图像I,按像素计算RGB通道的最大值,把得到的结果作为照明图L*,并用其初始化变量L0。
步骤3??通过最小化式(10)中的损失函数
步骤4??通过计算式(6)更新反射图Ri。
步骤5??通过最小化式(12)中的损失函数
步骤6??通过计算式(7)更新辅助反射图
步骤7??通过计算式(9)更新照明图Li。
步骤8??如果迭代次数i小于最大迭代次数maxIter,转到步骤3。否则,输出学习到的SF模型参数Ψi、
3 实验结果与分析 3.1 实验条件 为学习SF模型Ψi、
图 2 训练数据示例 Fig. 2 Examples from training data |
图选项 |
在对比实验中,选用当前最新的低照度图像增强方法LIME[7]、DHN[20]和SR[9]作为比较对象。基于Retinex分解的LIME方法[7]先通过
3.2 合成数据上的实验 为验证本文方法的有效性,先在合成数据上进行实验。图 3(a)为按照3.1节步骤合成的低照度图像,高斯噪声强度为2%,相应反射图和照明图的真值如图 3(b)和(c)所示。图 3(d)~(g)分别为不同方法的图像增强结果。从图 3(d)可以观察到,LIME方法[7]增强了低照度图像的对比度,但是产生了过亮区域和块状伪影(如放大的花朵边缘)。这主要是因为LIME方法对照明图的估计偏低,导致通过
图 3 不同方法在合成数据上的比较 Fig. 3 Comparison of different methods on synthetic data |
图选项 |
为定量验证本文方法的有效性,在30幅合成图像上进行了更多实验,并计算平均PSNR(mPSNR)和平均SSIM(mSSIM)。从表 1看出,本文方法在多种噪声水平上均取得了最高的mPSNR和mSSIM。
表 1 不同方法在含有多种噪声的测试集上增强结果的平均峰值信噪比和结构相似性 Table 1 Average PSNRs and SSIMs of results enhanced by different methods on test dataset with various noises
方法 | mPSNR/dB | mSSIM | |||||
σ2=0% | σ2=3% | σ2=5% | σ2=0% | σ2=3% | σ2=5% | ||
LIME[7] | 19.33 | 18.62 | 17.89 | 0.852 6 | 0.824 9 | 0.791 3 | |
DHN[20] | 19.87 | 19.07 | 18.03 | 0.892 2 | 0.855 6 | 0.816 8 | |
SR[9] | 20.88 | 19.46 | 18.21 | 0.903 5 | 0.862 4 | 0.830 4 | |
本文方法 | 21.73 | 20.55 | 19.24 | 0.911 6 | 0.871 3 | 0.852 0 |
表选项
3.3 真实数据上的实验 为评价本文方法在真实图像上的增强效果,选用图 4(a)中的低照度图像进行测试,不同方法的增强结果如图 4(b)~(e)所示。
图 4 不同方法在真实数据上的比较 Fig. 4 Comparison of different methods on real-world data |
图选项 |
可以看出,对比方法LIME[7]、DHN[20]和SR[9]都有效地增亮了低照度图像。但是,LIME方法过低估计了照明图,并且在后处理阶段使用BM3D抑制反射图中空间变化的噪声,导致增强结果中存在过度增强的笔记本电脑和含有块状伪影的墙面。DHN方法在端到端深度网络中不使用Retinex模型,以致恢复的场景不够锐利。SR方法在一定程度上避免了这些问题,但是增强的场景仍然包含明显的残留噪声。究其原因,SR方法在正则项中使用清晰图像和低照度图像的梯度约束两者在结构信息上保持一致,以致噪声等高频信息传导至增强结果中。相比之下,本文方法产生了相当或者更高质量的增强效果和边缘信息,原因主要是:学习到的高阶滤波器和压缩函数具有丰富的激活模式,能够进一步精化照明图的估计,从而能够有效地恢复反射图像和抑制噪声污染。
4 讨论和分析 4.1 收缩场模型的有效性 第3节验证了本文方法在增强低照度图像的同时能够有效地抑制噪声污染。为说明SF模型的有效性,图 5展示了第i=1级联使用的收缩场Ψi、
图 5 第i=1级联中学习到的收缩场Ψi、 |
图选项 |
在图 5(a)中,右侧2个滤波器的激活程度相对较小,相应压缩曲线也含有较少的波动。这与文献[25]中的去噪滤波器一致,故而在抑制噪声方面更能发挥作用。相比之下,前6个滤波器对应的压缩曲线含有更多的波动,在图像增强过程中更有利于保持图像的结构信息。与图 5(a)相比,图 5(b)中滤波器有类似的激活程度,但包含不同的视觉模式。这主要是因为:辅助的SF模型
4.2 辅助收缩场的有效性 根据3.1节的优化步骤,本文方法先求解反射图Ri。虽然学习到的高阶滤波器fsi和压缩函数φsi能够在恢复反射图的同时抑制噪声污染,但学习到的参数αi固定不变,以致反射图Ri的某些区域可能因噪声放大而退化。这种现象在第i=1级联中尤为明显。为避免噪声放大问题,引入辅助的收缩场Ψi以改善反射图Ri的质量,进而精确地估计Retinex分解中的照明图Li。
为验证辅助收缩场
表 2 在本文测试集上评估辅助反射图
方法 | mPSNR/dB | mSSIM |
本文方法(不含 ) | 16.38 | 0.760 4 |
本文方法(包含 ) | 19.24 | 0.852 0 |
表选项
图 6 辅助反射图 |
图选项 |
4.3 最大迭代次数 在本文实验中,最大迭代次数设置为maxIter=5。为说明迭代次数对实验结果的影响,选用图 7(a)中合成的低照度图像展示本文方法在所有级联中的增强结果。从图 7(b)~(e)可以看出,随着级联的增加,反射图的质量逐渐改善。第3个级联的反射图有效地避免了过增强和噪声污染,具有高质量的视觉效果。第5个级联的反射图具有类似的增强效果,表明本文方法的解趋于稳定。在大量实验的基础上,本文把最大迭代次数maxIter置为5。
图 7 本文方法随迭代次数增加的增强结果 Fig. 7 Enhancement results of proposed method with increasing iteration times |
图选项 |
4.4 高阶滤波器的个数 在每个SF中,高阶滤波器初始化为相互独立且完备的简单形式,即中心点与邻域内某点的像素值分别置为1和-1。因此,高阶滤波器的个数N与其尺寸d×d存在数量关系N=d2-1。本文实验使用3×3的滤波器,故每个SF包含N=8个高阶滤波器。为表明滤波器的个数对最终增强结果的影响,选用图 8(a)中的合成低照度图像进行测试,该图像含有1%的高斯噪声。图 8(b)和(c)分别为N=8和24个滤波器的增强结果。可以看出,8个滤波器已经产生了清晰的眼部轮廓,24个滤波器进一步增强了眼睛中心的纹理信息。这表明滤波器的个数越大,增强结果的质量越高。然而,由于更大的滤波器减小了未知变量的更新速度,这些效果的提升以牺牲约1.4倍的运行时间为代价。通过权衡增强效果和运行时间,本文方法在低照度图像增强实验中使用N=8个3×3的滤波器。
图 8 高阶滤波器个数对实验结果的影响 Fig. 8 Influence of high-order filter number on experimental results |
图选项 |
5 结论 针对低照度图像增强中的噪声污染问题,本文提出通过学习SF模型改进Retinex分解,以便在增强低照度图像的同时有效地抑制噪声。合成和真实数据上的实验结果验证了本文方法的有效性。该方法具有以下优点:
1) 不需要数量巨大的训练样本,比基于深度学习的方法更适用于训练样本较少的情形。
2) 学习到的高阶滤波器和压缩函数具有丰富的激活模式,比手工设计的正则子(Regularizer)在抑制噪声污染方面更加有效。
本文方法可以有效地增强低照度图像和抑制噪声污染,但不适用于极低光照图像(Extremely Low-Light Image)的情形。下一步工作将继续改进SF模型,以增强极低照度图像。
参考文献
[1] | WANG R, LIANG D, ZHANG W, et al.MatchDR: Image correspondence by leveraging distance ratio constraint[C]//ACM International Conference on Multimedia.New York: ACM, 2016: 606-610. |
[2] | GUO Y F, CAO X C, ZHANG W, et al. Fake colorized image detection[J]. IEEE Transactions on Information Forensics and Security, 2018, 13(8): 1932-1944. DOI:10.1109/TIFS.2018.2806926 |
[3] | GUO Y F, AU O C, WANG R, et al. Half image watermarking by content aware double-sided embedding error diffusion[J]. IEEE Transaction on Image Processing, 2018, 27(7): 3387-3402. DOI:10.1109/TIP.2018.2815181 |
[4] | PIZER S M, JOHNSTON R E, ERICKSEN J P, et al.Contrast-limited adaptive histogram equalization: Speed and effectiveness[C]//Proceedings of 1st Conference on Visualization in Biomedical Computing.Piscataway: IEEE Press, 1990: 22-25. |
[5] | ARICI T, DIKBAS S, ALTUNBASAK Y. A histogram modification framework and its application for image contrast enhancement[J]. IEEE Transactions on Image Processing, 2009, 18(9): 1921-1935. DOI:10.1109/TIP.2009.2021548 |
[6] | LAND E H, MCCANN J J. Lightness and Retinex theory[J]. Journal of the Optical Society of America, 1971, 61(1): 1-11. DOI:10.1364/JOSA.61.000001 |
[7] | GUO X J, LI Y, LING H B. LIME:Low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993. DOI:10.1109/TIP.2016.2639450 |
[8] | FU X Y, LIAO Y H, ZENG D L, et al. A probabilistic method for image enhancement with simultaneous illustration and reflectance estimation[J]. IEEE Transactions on Image Processing, 2015, 24(12): 4965-4977. DOI:10.1109/TIP.2015.2474701 |
[9] | LI M D, LIU J Y, YANG W H, et al. Structure-revealing low-light image enhancement via robust Retinex model[J]. IEEE Transactions on Image Processing, 2018, 27(6): 2828-2841. DOI:10.1109/TIP.2018.2810539 |
[10] | YUE H J, YANG J Y, SUN X Y, et al. Contrast enhancement based on intrinsic image decomposition[J]. IEEE Transactions on Image Processing, 2017, 26(8): 3981-3994. DOI:10.1109/TIP.2017.2703078 |
[11] | BANIC N, LONCARIC S. Light random sprays Retinex:Exploring the noisy illumination estimation[J]. IEEE Signal Processing Letters, 2013, 20(12): 1240-1243. DOI:10.1109/LSP.2013.2285960 |
[12] | PARK S, YU S, MOON B, et al. Low-light image enhancement using variational optimization-based Retinex model[J]. IEEE Transactions on Consumer Electronics, 2017, 63(2): 178-184. DOI:10.1109/TCE.2017.014847 |
[13] | NG M K, WANG W. A total variation model for Retinex[J]. Society for Industrial and Applied Mathemetics, 2011, 4(1): 345-365. |
[14] | FU X Y, ZENG D, HUANG Y, et al.A weighted variational model for simultaneous reflectance and illumination estimation[C]//IEEE Conference on Computer Vision and Pattern Recognition.Piscataway: IEEE Press, 2016: 2782-2790. |
[15] | DABOV V K K, FOI A, EGIAZARIAN K O. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. IEEE Transactions on Image Processing, 2007, 16(8): 2080-2095. DOI:10.1109/TIP.2007.901238 |
[16] | WEI C, WANG W J, YANG W H, et al.Deep Retinex decomposition for low-light enhancement[C]//British Machine Vision Conference, 2018: 155-166. |
[17] | SHEN L, YUE Z H, FENG F, et al.MSR-net: Low-light image enhancement using deep convolustional network[EB/OL].(2017-11-07)[2020-03-01].https://arxiv.org/abs/1711.02488. |
[18] | JOBSON D J, RAHMAN Z U, WOODELL G A. A multiscale Retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7): 965-976. DOI:10.1109/83.597272 |
[19] | PARK S, YU S, KIM M, et al. Dual autoencoder network for Retinex-based low-light image enhancement[J]. IEEE Access, 2019, 6: 22084-22093. |
[20] | REN W Q, LIU S F, MA L, et al. Low-light image enhancement via a deep hybrid network[J]. IEEE Transactions on Image Processing, 2019, 28(9): 4364-4375. DOI:10.1109/TIP.2019.2910412 |
[21] | CAI J R, GU S H, ZHANG L. Learning a deep single image contrast enhancer from multi-exposure images[J]. IEEE Transactions on Image Processing, 2018, 27(4): 2049-2062. DOI:10.1109/TIP.2018.2794218 |
[22] | ZHU M F, PAN P B, CHEN W, et al.EEMEFN: Low-light image enhancement via edge-enhanced multi-exposure fusion network[C]//Proceedings of the 34th AAAI Conference on Artificial Intelligence, 2020: 13106-13113. |
[23] | CHEN C, CHEN Q F, XU J, et al.Learning to see in the dark[C]//IEEE Conference on Computer Vision and Pattern Recognition.Piscataway: IEEE Press, 2018: 3291-3300. |
[24] | LONG J, SHELHAMER E, DARRELL T.Fully convolutional networks for semantic segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition.Piscataway: IEEE Press, 2015: 3431-3440. |
[25] | SCHMIDT U, ROTH S.Shrinkage fields for effective image restoration[C]//IEEE Conference on Computer Vision and Pattern Recognition.Piscataway: IEEE Press, 2014, 1: 2774-2781. |
[26] | XIAO L, WANG J, HEIDRICH W, et al.Learning high-order filters for efficient blind deconvolution of document photographs[C]//IEEE Conference on Computer Vision and Pattern Recognition.Piscataway: IEEE Press, 2016: 734-749. |
[27] | WU Q B, REN W Q, CAO X C. Learning interleaved cascade of shrinkage fields for joint image dehazing and denoising[J]. IEEE Transactions on Image Processing, 2020, 29: 1788-1801. DOI:10.1109/TIP.2019.2942504 |
[28] | WEN B, KAMILOV U, LIU D, et al.DeepCASD: An end-to-end approach for multi-spectral image super-resolution[C]//Proceedings of International Conference on Acoustics, Speech, and Signal Processing.Piscataway: IEEE Press, 2018: 6503-6505. |
[29] | SAAD Y, SCHULTZ M H. GMRES:A generalized minimal residual algorithm for solving nonsymmetric linear systems[J]. Society for Industrial and Applied Mathemetics, 1986, 7(3): 856-869. |
[30] | WANG Y, CAO Y, ZHA Z J.Progressive Retinex: Mutually reinforced illustration-noise perception network for low light image enhancement[C]//ACM International Conference on Multimedia.New York: ACM, 2019: 2015-2023. |
[31] | SCHMIDT M.minFunc: Unconstrained differentiable multivariate optimization in Matlab[EB/OL].[2020-03-01].https://www.cs.ubc.ca/~schmidtm/Software/minFunc.html,2005. |