杨爱萍, 王朝臣, 王建, 张腾飞
天津大学 电气自动化与信息工程学院, 天津 300072
收稿日期：2021-05-14
基金项目：国家自然科学基金资助项目(62071323，61771329，61632018); 天津市科技重大专项研发计划项目(18ZXZNGX00320)。
作者简介：杨爱萍(1977-), 女，山东聊城人，天津大学副教授。

摘要：基于深度学习的单幅图像去雨已经取得了较大进展, 但现有方法去雨后的图像仍然存在细节丢失、密集雨纹去除不彻底等问题.为此, 本文提出一种基于自适应感知金字塔网络的单幅图像去雨方法, 能够在有效去除密集雨纹的同时对细节进行修正, 显著改善去雨图像的视觉质量.首先, 基于小波变换构建多尺度金字塔网络, 在各尺度子网络之间进行递进式连接, 实现雨纹迭代提取和去除; 各尺度子网络内部以自适应雨纹感知模块为核心, 设计对称跳跃连接将提取到的浅层特征反馈至深层, 实现浅层特征的有效复用.其中, 所设计的自适应雨纹感知模块通过非局部感知运算和共享扩张卷积扩大感受野, 可有效感知雨纹特征, 并融入注意力机制实现雨纹的自适应去除.为了更好地约束网络训练和去除不同尺度的雨纹, 设计了一种多尺度损失函数, 由粗及细逐步完成雨纹去除, 可有效防止伪影现象.在合成和真实数据集上的大量实验表明, 本文方法优于现有的主流方法, 能够在去雨的同时较好地保持图像细节, 视觉效果理想.
关键词：图像去雨小波变换金字塔网络自适应感知特征融合
Image Deraining Based on Adaptive Perceptual Pyramid Network
YANG Ai-ping, WANG Chao-chen, WANG Jian, ZHANG Teng-fei
School of Electrical and Information Engineering, Tianjin University, Tianjin 300072, China
Corresponding author: YANG Ai-ping, E-mail: yangaiping@tju.edu.cn.

Abstract: Although deep learning-based methods have made great progresses in the field of single image deraining, existing methods still have some problems such as loss of detail and residue of rain streaks. To overcome these short-comings, this paper proposed an adaptive perceptual pyramid network to remove dense rain streaks while revising image details at the same time and thus significantly improve the visual quality. Firstly, a multi-scale pyramid network with progressive connected sub-networks is constructed based on wavelet transform to extract and remove rain streaks iteratively. Each sub-network with the adaptive rain streak perceptual block as its core module is constructed through symmetric skip-connection to extract the shallow layer features to deeper layers to be reused. The adaptive rain streak perceptual block uses non-local operation and shared dilated convolution to expand the receptive fields, which can effectively perceive and remove rain streak adaptively. In order to remove rain streaks with different scales and impose some constrains of the network training, a multi-scale loss function is designed so as to gradually remove rain streaks from coarse to fine, which can effectively prevent artifacts. Extensive experimental results on synthetic and real datasets demonstrate the superiority of the proposed method over the state-of-the-art methods, which can remove rain streaks effectively with preserving vivid image details.
Key words: image derainingwavelet transformpyramid networkadaptive perceptionfeature fusion
在降雨天气采集到的图像质量下降严重, 存在纹理遮挡、对比度下降及细节丢失等问题, 严重影响视觉效果, 不利于图像特征提取及辨识, 导致户外计算机视觉系统难以发挥效用.因此, 图像去雨具有重要的研究意义及应用价值^[1].
单幅图像去雨可分为传统方法和基于深度学习的方法.早期工作大多基于核回归^[2-3]、低秩估计^[4-5]、表示学习^[6]以及字典学习^[7-8]等方法实现单幅图像去雨.该类方法通常将去雨看作图像分解问题, 去雨后的图像往往存在背景模糊和雨纹残留现象.为解决这些问题, 后续提出了基于判别稀疏编码(discriminative sparse coding, DSC)^[9]、混合高斯模型(Gaussian mixture model, GMM)^[10]和全局稀疏模型^[11]等去雨方法, 可在一定程度上改善去雨图像视觉质量.但是, 传统方法提取雨纹特征信息不足, 无法有效去除雨纹且去雨后图像视觉效果较差.
近年来, 卷积神经网络(convolutional neural network, CNN)凭借其出色的特征提取能力和强大的辨识能力被广泛用于图像去雨, 基于深度学习的图像去雨方法取得了较大进展.Eigen等^[12]首次将卷积神经网络应用于单幅图像去雨, 其构造了一个三层卷积神经网络学习有雨和无雨图像间的非线性映射.Fu等^[13]提出一种深度细节网络(deep detail network, DDN), 使用引导滤波从雨图分离出高频特征, 但去雨后的图像易丢失细节信息.Zhang等^[14]提出了一种基于条件生成对抗网络的去雨方法(ID-CGAN), 但去雨后的图像不够自然.Li等^[15]提出了一种分解-合成网络结构, 利用合成结果指导分解过程, 但难以处理暴雨图像.Pan等^[16]提出了一种双重卷积神经网络, 分别学习背景图像的结构和细节, 再进行合成得到去雨图像.还有一些结合物理信息构建的去雨网络, 包括结合雨纹密度信息的DID-MDN^[17]、结合运动模糊信息的KGCNN^[18]、结合深度信息的DAF-Net^[19].以上这些方法都把去雨任务看作是一个简单的分层问题, 在单阶段或单尺度下完成.
然而, 有雨图像包含复杂的雨纹特征, 如雨纹形状、方向和密度信息等, 单阶段或单尺度网络无法彻底去除复杂雨纹.为了解决雨纹残留等问题, 很多****从多尺度或多阶段角度设计网络结构用于图像去雨.Yang等^[20]构建一种新的雨图成像模型, 并结合扩张卷积提出一种联合雨水检测和去除的网络(joint rain detection and removal, JRDR), 该网络对暴雨情况下雨水堆积有较好的去除效果, 但部分图像易出现细节模糊.Fu等^[21]提出一种拉普拉斯金字塔网络捕捉多个尺度下雨纹特征并逐步完成去雨.Li等^[22]构建一种基于尺度感知的多阶段递归网络, 将去雨过程分为多个阶段逐步完成去雨.Li等^[23]结合SE模块提出一种循环结构(recurrent squeeze-and-excitation context aggregation network, RESCAN)来获取雨纹的多尺度信息, 并逐步去除雨纹.Ren等^[24]基于残差网络设计了一种由简单网络模型组成的多阶段去雨网络PReNet.Deng等^[25]从细节修复角度设计了一种双路并行网络(DRD-Net), 分别用于去除雨纹和细节修复.Jiang等^[26]对不同尺度的雨纹进行渐进式融合处理, 提出一种多尺度渐进式融合网络(multi-scale progressive fusion network, MSPFN).但是, 以上这些方法忽略了相邻阶段信息的密切相关性, 直接进行跨阶段或跨模块的信息流通, 导致背景细节信息丢失.Zhao等^[27]基于小波变换构建金字塔网络(PDR-Net), 但其各尺度子网络只使用普通残差块进行级联, 无法提取深层雨纹特征, 同时去雨过程中没有进行信息补偿, 因此存在雨纹去除不彻底、背景信息损失等问题.
综上, 本文提出一种基于自适应感知金字塔网络的单幅图像去雨方法.首先, 基于小波变换构建多尺度特征金字塔网络, 相邻尺度之间进行递进式雨纹去除, 每个尺度上设计了一种自适应感知子网络进行雨纹特征提取和细节修复.各尺度子网络内部通过对称跳跃连接将提取到的浅层特征传递至深层, 实现浅层特征的有效复用, 同时对丢失的细节进行补偿.设计的自适应雨纹感知模块利用图像的非局部信息, 在扩大感受野的同时感知雨纹所在区域, 并通过共享扩张卷积和注意力机制提取雨纹特征并进行自适应融合.
1 本文方法1.1 小波金字塔网络雨纹通常分布在高频区域, 使用离散小波变换完成下采样可以同时去除部分雨纹信息.本文设计了一种小波金字塔网络, 通过小波变换及其逆变换完成上下采样, 并通过各尺度逐级迭代完成去雨.现有研究结果表明, 三层金字塔网络设计可以在保持轻量化的同时, 有效实现深层雨纹特征提取, 提出的整体网络结构如图 1所示.其中, DWT和IDWT表示离散小波变换及其逆变换, ARP-SubNet(adaptive rain streak perceptual sub-network)表示各尺度下(这里0, 1, 2分别表示从大到小3个尺度)的自适应雨纹感知子网络.不同于已有的小波金字塔网络^[27], 本文各尺度子网络直接对原始有雨图像进行残差学习, 整体网络从低分辨率至高分辨率进行递进式连接.同时, 所设计的子网络能自适应学习原始图像雨纹特征, 并对不同尺度下的去雨结果进行信息补偿, 实现不同尺度雨纹特征的有效复用.
图 1(Fig. 1)

图 1 小波金字塔网络结构Fig.1 Architecture of wavelet pyramid network

设{X⁰, Y⁰}为输入的有雨-无雨图像对, 首先对有雨图像X⁰进行两次小波变换, 得到2个不同尺度下的子图像:

(1)

(2)

其中: f_DWT(·)表示离散小波变换; [X_LL¹, X_LH¹, X_HL¹, X_HH¹]表示原始有雨图像经过一次小波变换后的子图像; [X_LL², X_LH², X_HL², X_HH²]表示经过两次小波变换后的子图像.首先在最小尺度上通过ARP-SubNet2进行运算:

(3)

其中: f_ARP-SubNet2(·)表示最小尺度子网络(图 1中ARP-SubNet2)的处理运算; 则表示该尺度下得到的去雨图像.
其次, 对高频分量置零, 并进行离散小波逆变换(IDWT), 将得到的结果_L¹L与上一尺度的有雨图像进行级联操作, 完成特征融合.然后, 将融合得到的图像输入到上一尺度子网络(图 1中ARP-SubNet1)进行去雨, 得到该尺度下的去雨结果.

(4)

(5)

其中: f_IDWT(·)表示离散小波逆变换; f_ARP-SubNet1(·)表示子网络ARP-SubNet1处理运算; f_Cat(·, ·)则表示特征图的堆叠运算.
同理, 高频置零后进行小波逆变换得到Y_LL⁰, 再与原始有雨图像进行级联, 将级联后的结果输入到最大尺度子网络(图中ARP-SubNet0)进行残差学习, 得到最终的去雨图像:

(6)

(7)

其中, f_ARP-SubNet0(·)表示子网络ARP-SubNet0处理运算.网络从低分辨率至高分辨率进行递进式去雨, 将小尺度的去雨结果融合到相邻尺度, 并指导上一尺度的雨纹去除, 网络整体和局部残差学习可使网络充分利用上下文信息并快速收敛.
1.2 自适应雨纹感知子网络(ARP-SubNet)1.2.1 子网络结构为了更有效地进行深层雨纹特征的提取, 并解决去雨过程中背景信息损失等问题, 本文设计了一种自适应雨纹感知子网络, 提取深层雨纹特征并逐尺度进行细节补偿, 网络结构如图 2所示.各子网络以自适应雨纹感知模块(adaptive rain streak perceptual block, ARPB)为核心, 结合跳跃连接和SE(squeeze-and-excitation)模块完成网络搭建.不同于现有的编解码结构, 这里使用了若干由前到后的对称跳跃连接对浅层和深层进行关联, 对场景结构信息和细节信息进行补偿.这种连接方式可以充分利用浅层特征及上下文信息, 并对提取到的雨纹特征偏差进行及时修正.同时, 结合通道注意力机制, 从通道维度自适应地选择特征图中更重要的通道, 降低多通道下噪声对雨纹特征的干扰, 减少传递过程中的信息丢失.
图 2(Fig. 2)

图 2 自适应雨纹感知子网络结构Fig.2 Architecture of adaptive rain streak perceptual sub-network

为了减少信息干扰, 子网络首先采用卷积核尺寸为3×3的卷积层和两个残差模块用于提取输入图像X的浅层特征:

(8)

(9)

其中: f_3×3(·)表示卷积核为3×3的卷积层; f_ResBlock(·)表示残差模块(residual block).由于批归一化(batch normalization, BN)层不利于复杂雨纹特征的提取, 本文残差模块中去除了BN层, 故只包含两个卷积层并进行了残差连接, 具体网络结构如图 3所示.
图 3(Fig. 3)

图 3 残差模块网络结构Fig.3 Architecture of residual block

为了保留足够的空间信息进行重构, 子网络在编码阶段只进行两次下采样, 下采样操作通过步长为2的残差模块完成.为了增强通道间特征相关性, 在上下采样部分的残差模块中增加了SE模块.

(10)

(11)

其中: f_DownSample(·)表示下采样; f_SE(·)表示SE模块运算.下采样后, 级联4个自适应雨纹感知模块, 进一步提取深层雨纹特征并将网络捕捉到的不同尺度大小的雨纹进行融合:

(12)

其中，f_ARPBs(·)表示自适应雨纹感知模块运算.对称地, 两个反卷积层堆叠在解码器相应部分, 对跳跃连接融合得到的特征进行激活并进行上采样:

(13)

(14)

其中: f_UpSample(·)表示上采样; f_PReLU(·)表示PReLU激活函数.然后, 使用连续的1×1卷积和3×3卷积进行特征融合, 得到雨纹特征图; 最后, 使用核大小为3×3的卷积层进行融合, 得到的雨纹输出为

(15)

(16)

式中: f_1×1(·)表示卷积核为1×1大小的普通卷积层; O为最终的输出图像.子网络中默认使用核大小为3×3的卷积层, 可以在有效提取图像特征的同时保持较小的参数量.子网络中通道数设置为64, 卷积层之后的激活函数均使用PReLU函数.
1.2.2 自适应雨纹感知模块(ARPB)为了感知雨纹区域并提取深层雨纹特征, 本文基于非局部思想和共享扩张卷积设计了一种自适应雨纹感知模块, 并结合注意力机制对不同尺度的雨纹特征进行融合.ARPB包括非局部感知单元(non-local perceptual unit)和特征融合单元(feature-fusion unit), 同时采用全局残差连接, 网络结构如图 4所示.非局部感知单元通过计算每个位置在特征图中的响应, 给所有位置分配不同的权重, 能够将感受野扩大到整个图像, 有效感知雨纹所在区域.同时, 特征融合单元通过不同扩张因子的共享扩张卷积对不同尺度的雨纹进行捕捉, 并将3条不同扩张因子的支路提取到的雨纹特征通过注意力模块进行融合, 实现不同尺度的雨纹特征自适应融合.
图 4(Fig. 4)

图 4 自适应雨纹感知模块结构Fig.4 Architecture of adaptive rain streak perceptual block

在非局部感知单元运算时, 对于给定的输入x, 其维度为H×W×C, 位置i处的响应可通过特征图中其他位置的特征加权计算得到:

(17)

其中: i是输出位置索引; j是所有可能的位置索引.C(x)为归一化函数, 这里取C(x)=f(x_i, x_j).f(x_i, x_j)用于计算位置i和位置j处的相似度, 可以表示为

(18)

其中：θ(x_i)=W_θx_i, φ(x_j)=W_φx_j.g(x_j)用于计算位置j处的输入信号表征, 可以表示为g(x_j)=W_gx_j, W_θ, W_φ及W_g为权值矩阵.
为了实现跨通道交互和信息融合, 将非局部增强特征激活输入到两层1×1卷积层:

(19)

反复实验可知, 使用3条不同扩张因子的并行支路能在保持较小的参数量和计算量的情况下有效扩大感受野.3条支路分别使用扩张因子为1, 2, 3的共享扩张卷积完成不同尺度感受野下的特征感知, 以捕捉不同尺度大小的雨纹:

(20)

其中, f_{dc, DF=n}(·)表示扩张因子为n的共享扩张卷积.基于此, 提取到多种感受野下特征图的全局信息z_con:

(21)

其中: f_GAP(·)表示全局平均池化; f_FC(·)表示全连接层.
然后, 通过线性操作和softmax函数选择多种感受野下的最优特征权重, 基于注意力模块实现特征图的自适应加权; 最后, 将加权后的结果输入到一层1×1的卷积层进行通道压缩.该过程可以表示为

(22)

(23)

其中: f_softmax(·)表示softmax激活函数; f_Linear(·)表示线性操作; {w_{i, 1}, w_{i, 3}, w_{i, 5}}表示每条支路所对应的权重.
1.3 损失函数对于本文提出的单幅图像去雨网络, 采用了平滑L₁损失、SSIM损失和感知损失^[28]来约束网络训练.为了使网络由粗及细分层指导图像去雨过程, 本文设计了一种多尺度损失函数对网络进行训练, 可有效提升去雨图像视觉质量并防止伪影现象.平滑L₁损失L_s1可表示为

(24)

其中: N表示金字塔的层数; λ_n表示该尺度损失的权重因子; M表示数据集中有雨-无雨图像对的数量; 表示不同尺度子网络预测得到的去雨图像；J_{n, i}表示对应同样尺度的清晰图像; f_smooth(·)表示平滑处理, 其表达式为

(25)

此外, 多尺度SSIM损失可表示为

(26)

同时, 为了消除图像复原过程中可能引入的伪影现象, 还使用感知损失约束网络训练.感知损失可衡量去雨图像和对应的清晰图像之间语义特征差异, 采用预训练在ImageNet上的VGG-16网络输出的特征图φ_j(·)来计算, 可表示为

(27)

其中: 为网络恢复的图像; J为对应的清晰图像; φ_j()和φ_j(J)分别表示和J对应的特征图; C_j, H_j和W_j分别表示φ_j()和φ_j(J)的通道数、高度和宽度.
因此, 总的损失函数可以表示为

(28)

其中, λ_p为感知损失的权重因子, 本文中设置为0.005.
2 实验与结果分析2.1 实验设置及数据集本文方法基于Pytorch框架实现, 在Ubuntu环境下使用NVIDIA 1080Ti GPU训练网络.Batchsize设置为48, patchsize设置为112, 采用动量衰减指数β₁=0.9, β₂=0.999的Adam优化器进行优化, 迭代次数为700次, 初始学习率设置为0.001, 分别在第250, 400, 500, 600个epoch时进行学习率衰减，每次衰减一半.
针对有雨-无雨图像对难以获取问题, 本文采用Rain200L^[20]、Rain200H^[20]、Rain800^[14]及Rain1400^[13]四个合成数据集进行训练.Rain200H和Rain200L分别由1 800张训练图像和200张测试图像组成; Rain1400合成数据集包含14种雨纹, 由12 600张训练图像和1 400张测试图像组成; Rain800合成数据集由700张训练图像和100张测试图像组成.文献[17]和[20]还提供了一些真实的雨天图像用于验证方法的鲁棒性.本文用这些图像作为真实数据集, 对提出的网络进行客观评价.
在合成数据集和真实数据集上进行实验, 并与目前的优势主流去雨方法进行对比.包括2个传统方法DSC^[9]、GMM^[10]以及8个基于深度学习的方法: DDN^[13]、DID-MDN^[17]、JORDER^[20]、RESCAN^[23]、DAF-Net^[19]、PReNet^[24]、DRD-Net^[25]、MSPFN^[26].
2.2 在合成数据集上实验首先在合成数据集上进行实验, 采用了Rain200L、Rain200H、Rain800以及Rain1400四个合成数据集进行实验.利用峰值信噪比(peak signal-to-noise ratio, PSNR)和结构相似性(structural similarity, SSIM)两个客观评价指标对恢复的图像质量进行评价, 各方法实验结果如表 1所示.可以看出相较于现阶段优势的去雨算法, 本文方法在Rain200L和Rain1400数据集上取得了最优结果, 在Rain200H和Rain800数据集上也取得了最高的PSNR值和次高的SSIM值.而获得最高SSIM值的DRD-Net^[25], 在网络中级联更多的子模块、通过更深的网络层来提取雨纹特征, 存在参数量大、计算速度慢等问题.在计算复杂度方面, 统计了各算法在数据集Rain200H上的测试平均用时, 结果如表 2所示.可以看出, 本文方法在用时较少的情况下可取得最优去雨结果.
表 1(Table 1)

表 1 在合成数据集上PSNR和SSIM结果Table 1 Comparison of PSNR and SSIM on synthetic dataset 方法 Rain200L Rain200H Rain800 Rain1400 PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM DSC(ICCV’15) 25.68 0.87 13.17 0.43 20.95 0.75 22.03 0.79 GMM(CVPR’16) 27.16 0.89 13.04 0.47 22.75 0.83 25.64 0.83 DDN(CVPR’17) 33.01 0.96 24.64 0.85 24.04 0.86 27.61 0.90 JORDER-R(CVPR’17) 35.92 0.97 25.48 0.81 24.32 0.86 27.55 0.85 DID-MDN(CVPR’18) 30.48 0.93 26.35 0.83 21.89 0.79 27.99 0.86 RESCAN(ECCV’18) 37.07 0.98 26.60 0.89 24.09 0.84 28.57 0.89 PReNet(CVPR’19) 36.69 0.98 27.89 0.89 23.31 0.80 30.73 0.91 DAF-Net(CVPR’19) 32.07 0.96 24.65 0.86 25.27 0.88 — — MSPFN(CVPR’20) 31.64 0.93 27.39 0.85 25.29 0.85 30.92 0.90 DRD-Net(CVPR’20) 37.15 0.98 28.16 0.92 26.32 0.90 — — 本文方法 37.70 0.98 28.45 0.90 26.54 0.89 32.20 0.93 注：加粗字体表示最优值.下同.

表 1 在合成数据集上PSNR和SSIM结果 Table 1 Comparison of PSNR and SSIM on synthetic dataset

表 2(Table 2)

表 2 在Rain200H上平均运行时间对比Table 2 Comparison of average running time on Rain200H 变量 DSC GMM DDN JORDER-R DID-MDN RESCAN PReNet DAF-Net MSPFN DRD-Net 本文方法 PSNR 13.17 13.04 24.64 25.48 26.35 26.60 27.89 24.65 27.39 28.16 28.45 平均时间/s 92.9 331.04 0.03 0.28 0.53 0.25 0.15 0.52 0.28 0.54 0.08

表 2 在Rain200H上平均运行时间对比 Table 2 Comparison of average running time on Rain200H

Rain200H数据集是Yang等^[20]提出的一个合成数据集, 图像中的雨纹较为密集, 具有更大的挑战性.实验中, 从Rain200H数据集中选取了3张人物图和3张自然景观图进行去雨主观效果评价.为了使主观效果的对比更有说服力, 选取雨纹和背景细节重合较多的图片进行实验.所对比的方法有DDN^[13]、RESCAN^[23]、PReNet^[24]、DRD-Net^[25]、MSPFN^[26].由图 5可以看出, DDN^[13]方法虽然可以去除大部分雨纹, 但仍存在去雨不彻底的问题(如图 5 b中最后小男孩的面部), 并且整体场景会因为过度平滑而模糊(如图 5b中建筑物、风车、毛绒帽子等).RESCAN^[23]能去除绝大部分雨纹, 但是部分区域存在伪影(如建筑物及天空部分), 同时仍有雨纹残留现象.PReNet^[24]结果中没有雨纹残留现象, 但仍然有一些伪影存在, 并且有背景细节丢失现象(如建筑外墙的反射以及毛绒帽子部分).DRD-Net^[25]虽然视觉效果良好, 但整体网络参数量偏大, 同时对部分细节恢复不理想(如飞机机身文字以及土坯外墙部分).MSPFN^[26]将多个数据集合为一体进行训练, 导致对特定程度的雨纹去除效果不理想, 并存在过度去雨现象, 且对面部细节恢复较差.由图 5可以明显看出, 本文方法去雨较为彻底, 基本没有出现伪影现象, 整体图像色彩保持度较好, 且对细节恢复效果显著.
图 5(Fig. 5)

图 5 在合成数据集Rain200H上的实验结果Fig.5 Experimental results on synthetic dataset Rain200H

为了增强方法的鲁棒性, 本文还选取了Rain200L数据集中的5张图像进行了主观对比.由图 6可以看出, RESCAN^[23]和MSPFN^[26]方法存在部分雨纹残留, DDN^[13]方法存在过度平滑问题, 本文方法对于雨纹的去除及背景细节保持效果良好.
图 6(Fig. 6)

图 6 在合成数据集Rain200L上的实验结果Fig.6 Experimental results on synthetic dataset Rain200L

2.3 在真实数据集上实验为了进一步验证所提方法的有效性, 本节选取了5张经典的真实雨天图像进行实验, 并与目前的优势算法进行比较, 去雨后的图像如图 7所示.由图 7可以看出, 这几种方法都能去除大部分的雨水遮挡, 但对于密集雨纹形成的雾纱层去除效果一般, 同时也存在较大雨滴去除不彻底的问题.由图 7b可以看出, DDN^[13]方法对于真实雨纹的去除能力较弱, 如第2张图和第5张图中都存在明显的雨纹残留.由图 7c可以看出, JORDER^[20]方法存在过度去雨现象, 第1张图、第2张图和第5张图中的叶子都存在模糊现象.由图 7d和7f第5张图可以看出, RESCAN^[23]方法和MSPFN^[26]方法虽然可以去除部分雨纹, 但对于密集雨纹去除不彻底.由图 7e可以看出, PReNet^[24]虽然可以去除大部分雨纹, 但存在一定的颜色失真现象.由图 7g可以看出, 本文方法可以在去除大部分雨纹的同时保持较好的色彩和细节.
图 7(Fig. 7)

图 7 在真实数据集上的实验结果Fig.7 Experimental results on real-world dataset

2.4 消融实验为了验证提出的去雨网络每个模块的有效性, 本文还进行了消融实验, 实验方案如下: 方案1在子网络中不使用跳跃连接(skip connection, SC); 方案2在子网络中不使用自适应雨纹感知模块(ARPB), 而是用普通的残差模块代替自适应雨纹感知模块; 方案3不使用离散小波变换(DWT), 而是使用普通步长为2的卷积和反卷积代替小波变换和小波逆变换构建特征金字塔结构; 方案4在子网络中不使用SE模块; 方案5的损失函数不使用有预训练网络参与的感知损失函数(perceptual loss), 只使用L_s1和SSIM损失函数; 方案6不使用多尺度金字塔(multi-scale pyramid, MSP)的网络结构, 而是在单一尺度上进行处理; 方案7使用小波变换构建金字塔网络, 同时子网络使用跳跃连接、SE模块及自适应雨纹感知模块, 即本文方法.
本文在Rain200H数据集上对上述实验方案进行质量评价, 各种方案下得到的PSNR和SSIM如表 3所示, 去雨结果如图 8所示.从表 3可以看出, 本文方法具有更高的PSNR和SSIM值.同时由图 8可以看出, 方案1由于缺少跳跃连接模块, 没有进行信息补偿, 去雨后图像有模糊现象, 并且背景恢复效果较差; 方案2没有使用自适应雨纹感知模块, 部分区域去雨不彻底且信息损失严重; 方案3在不使用小波变换的去雨结果图中, 中间小孩脸上有亮斑, 同时衣领区域存在过度平滑现象; 方案4在不使用SE模块的实验结果中, 衣服区域和中间小孩脸上有雨纹残留; 方案5没有使用感知损失约束训练, 去雨结果图中小孩脸上存在明显亮斑; 方案6没有采用多尺度金字塔网络结构的结果图中存在一些残留的雨纹.可以看出, 本文方法(方案7)去雨彻底, 且可较好地保留图像细节.
表 3(Table 3)

表 3 在Rain200H数据集上PSNR和SSIM结果对比Table 3 Comparison of PSNR and SSIM teste on synthetic dataset Rain200H 方案 SC ARPB DWT SE P-Loss MSP PSNR SSIM 方案1 √ √ √ √ √ 27.42 0.877 2 方案2 √ √ √ √ √ 28.02 0.891 7 方案3 √ √ √ √ √ 28.12 0.894 9 方案4 √ √ √ √ √ 28.33 0.895 8 方案5 √ √ √ √ √ 27.91 0.891 7 方案6 √ √ √ √ √ 27.81 0.888 6 方案7 √ √ √ √ √ √ 28.45 0.896 9

表 3 在Rain200H数据集上PSNR和SSIM结果对比 Table 3 Comparison of PSNR and SSIM teste on synthetic dataset Rain200H

图 8(Fig. 8)

图 8 消融实验结果比较Fig.8 Comparison of ablation experiments

3 结语本文提出了一种基于自适应感知金字塔网络的单幅图像去雨方法, 网络结构设计充分考虑了对不同尺度雨纹特征的提取及融合, 可有效提高网络模型的精度, 能在有效去除雨纹的同时较好地保持图像的细节信息.本文方法使用自适应雨纹感知模块对深层雨纹特征进行提取, 同时子网络在去雨过程中注重对细节信息的补偿, 有效解决了现有去雨方法密集雨纹去除不彻底或因过度去雨导致的细节丢失等问题.
参考文献

[1]	Yang W, Tan R T, Wang S, et al. Single image deraining: from model-based to data-driven and beyond[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(11): 4059-4077. DOI:10.1109/TPAMI.2020.2995190
[2]	Kim J H, Lee C, Sim J Y, et al. Single-image deraining using an adaptive nonlocal means filter[C]//2013 IEEE International Conference on Image Processing. Melbourne: IEEE, 2013: 914-917.
[3]	Wang Y T, Zhao X L, Jiang T X, et al. Rain streak removal for single image via kernel guided CNN[J]. arXiv preprint arXiv: 1808.08545, 2018.
[4]	Chen Y L, Hsu C T. A generalized low-rank appearance model for spatiotemporally correlated rain streaks[C]//Proceedings of the IEEE International Conference on Computer Vision. Sydney: IEEE, 2013: 1968-1975.
[5]	Kim J H, Sim J Y, Kim C S. Video deraining and desnowing using temporal correlation and low-rank matrix completion[J]. IEEE Transactions on Image Processing, 2015, 24(9): 2658-2670. DOI:10.1109/TIP.2015.2428933
[6]	Gu S, Meng D, Zuo W, et al. Joint convolutional analysis and synthesis sparse representation for single image layer separation[C]//Proceedings of the IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 1717-1725.
[7]	Kang L W, Lin C W, Fu Y H. Automatic single-image-based rain streaks removal via image decomposition[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1742-1755. DOI:10.1109/TIP.2011.2179057
[8]	Wang Y, Liu S, Chen C, et al. A hierarchical approach for rain or snow removing in a single color image[J]. IEEE Transactions on Image Processing, 2017, 26(8): 3936-3950. DOI:10.1109/TIP.2017.2708502
[9]	Luo Y, Xu Y, Ji H. Removing rain from a single image via discriminative sparse coding[C]//Proceedings of the IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 3397-3405.
[10]	Li Y, Tan R T, Guo X, et al. Rain streak removal using layer priors[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 2736-2744.
[11]	Deng L J, Huang T Z, Zhao X L, et al. A directional global sparse model for single image rain removal[J]. Applied Mathematical Modelling, 2018, 59: 662-679. DOI:10.1016/j.apm.2018.03.001
[12]	Eigen D, Krishnan D, Fergus R. Restoring an image taken through a window covered with dirt or rain[C]//Proceedings of the IEEE International Conference on Computer Vision. Sydney: IEEE, 2013: 633-640.
[13]	Fu X, Huang J, Zeng D, et al. Removing rain from single images via a deep detail network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 1715-1723.
[14]	Zhang H, Sindagi V, Patel V M. Image deraining using a conditional generative adversarial network[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 30(11): 3943-3956.
[15]	Li S, Ren W, Zhang J, et al. Single image rain removal via a deep decomposition-composition network[J]. Computer Vision and Image Understanding, 2019, 186: 48-57. DOI:10.1016/j.cviu.2019.05.003
[16]	Pan J, Liu S, Sun D, et al. Learning dual convolutional neural networks for low-level vision[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 3070-3079.
[17]	Zhang H, Patel V M. Density-aware single image deraining using a multi-stream dense network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 695-704.
[18]	Wang Y T, Zhao X L, Jiang T X, et al. Rain streaks removal for single image via kernel-guided convolutional neural network[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 32(8): 3664-3676.
[19]	Hu X, Fu C W, Zhu L, et al. Depth-attentional features for single-image rain removal[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 8022-8031.
[20]	Yang W, Tan R T, Feng J, et al. Deep joint rain detection and removal from a single image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Puerto Rico: IEEE, 2017: 1357-1366.
[21]	Fu X, Liang B, Huang Y, et al. Lightweight pyramid networks for image deraining[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 31(6): 1794-1807.
[22]	Li R, Cheong L F, Tan R T. Single image deraining using scale-aware multi-stage recurrent network[J]. arXiv preprint arXiv: 1712.06830, 2017.
[23]	Li X, Wu J, Lin Z, et al. Recurrent squeeze-and-excitation context aggregation net for single image deraining[C]//Proceedings of the European Conference on Computer Vision(ECCV). Munich, 2018: 254-269.
[24]	Ren D, Zuo W, Hu Q, et al. Progressive image deraining networks: a better and simpler baseline[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 3937-3946.
[25]	Deng S, Wei M, Wang J, et al. Detail-recovery image deraining via context aggregation networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 14560-14569.
[26]	Jiang K, Wang Z, Yi P, et al. Multi-scale progressive fusion network for single image deraining[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 8346-8355.
[27]	Zhao J, Xie J, Xiong R, et al. Pyramid convolutional network for single image deraining[C]//CVPR Workshops. Long Beach, 2019: 9-16.
[28]	Johnson J, Alahi A, Li F F. Perceptual losses for real-time style transfer and super-resolution[C]//European Conference on Computer Vision. Amsterdam, 2016: 694-711.