<script type="text/javascript" src="https://cdn.bootcss.com/mathjax/2.7.2-beta.0/MathJax.js?config=TeX-AMS-MML_HTMLorMML"></script> <script type='text/x-mathjax-config'>MathJax.Hub.Config({tex2jax: {inlineMath: [['$','$'], ['\\(','\\)']]},"HTML-CSS": {linebreaks: { automatic: true},scale: 100}});</script> 摘要:提出了一种基于深度学习的联合变换相关器(JTC)光学图像加密系统新型去噪方法. 针对JTC光学图像加密系统中解密图像噪声的问题, 设计了一种基于生成对抗网络的去噪框架, 并使用密集模块加强特征信息复用, 提高了网络的性能. 该方法通过引入通道注意力机制使网络区分不同通道的权重, 学习各通道之间的关联, 使网络能选择性的加强有用特征信息并抑制无用特征信息; 在损失函数方面, 加入非对抗损失部分, 结合对抗损失和生成器模型提高了解密噪声图像中高频信息的恢复质量; 最后重建出高质量的解密图像. 将该方法用于传统的JTC光学图像加密系统, 数值计算和模拟实验结果表明, 该方法可极大地消除JTC光学图像加密系统中噪声影响, 有效地提高JTC光学图像加密系统用于高质量图像加密的有效性和可行性.
关键词: 光学图像加密/
深度学习/
信息安全/
神经网络/
联合变换相关器

English Abstract

全文HTML

--> --> -->

自1995年Refregier等^[1]提出双随机相位光学加密系统以来, 光学图像加密技术得到了迅速发展, 并在信息安全领域展示出巨大的应用潜力. 但在基于4f系统的双随机相位光学图像加密技术中, 两个相位掩模必须在空间位置上精确对准, 而且加密结果为复振幅分布, 难以记录及传输^[2]. 这些缺陷限制了该技术的发展和应用, 于是人们提出了利用数字全息^[3]的加密方法^[4]来解决此类问题. 虽然数字全息能够记录图像加密结果的复振幅, 但由于参考光的引入, 加密系统的复杂程度和实验操作难度大大增加, 而且解密时的共轭图像影响了解密图像质量, 也没有解决随机相位掩模的精确对准问题. 因此, Javidi和Nomura^[4]提出了一种基于联合变换相关器(JTC)的光学图像加密系统. 该系统结构简单, 不需要对随机相位掩模进行精确校准, 加密后的图像是1个联合功率谱, 即强度图像, 便于记录和传输, 因此成为****们^[5-7]的研究热点. 但这种加密方法的主要缺点是解密图像存在严重的噪声, 导致其质量不能满足一般加密图像的精度要求. 虽然****们采用Gerchberg-Saxton (G-S)算法和基于模糊控制理论的迭代算法(IAFC)来设计相位密钥^[8,9], 使随机相位密钥的傅里叶谱尽可能均匀, 在一定程度上提高了解密图像的质量. 但这些方法需要复杂的数学计算和编程, 且解密图像质量仍需提高.
针对上述问题, 本文提出一种基于深度学习的JTC光学图像加密系统新型降噪方法. 近年来, 随着硬件设备的不断发展和计算能力的不断提高, 深度学习算法取得了长足的发展, 并被广泛应用于各个领域. 例如在目标检测^[10]中通过深度学习算法进行图像中目标的类别和位置预测; 在图像分割^[11]中通过深度卷积神经网络进行图像中每个像素的类别预测; 在图像描述^[12]中通过深度学习提取图像特征, 在循环神经网络中生成图像的描述. 随着深度学习算法研究^[13]的不断深入, 一些新颖的网络结构和激活函数被提出, 例如VGG, GoogLeNet, ResNet等网络和Maxout, PReLU, ELU等非线性激活函数. 深度学习算法可通过在大规模图像识别数据集上训练来学习合适的图像特征表达, 进而实现退化图像的恢复和还原. 2016年Isola等^[14]提出了一种图像到图像翻译的一般框架, 将图像输入到生成网络代替原始的随机分布, 这样可以有效地监督网络生成数据样本. 相比传统的生成模型, 生成对抗网络拟合真实的数据分布, 能生成质量更好的图片. 在此基础上, 本文提出的JTC光学图像加密系统降噪方法是一种基于生成对抗网络的去噪模型一般框架, 在网络中加入密集模块和通道注意力模块提取图像的特征信息以提高恢复图像的质量, 建立携带噪声的退化解密图像和原始图像之间的图像到图像的映射关系, 通过大量的训练样本学习到相应的权重参数, 并通过训练好的权重参数进行退化解密图像的恢复. 最终消除JTC光学图像加密系统中的噪声影响, 使得JTC光学图像加密系统能够有效应用于高质量图像加密和解密.

基于JTC的光学图像加密系统如图1所示, 其中傅里叶透镜的焦距为f. 扩束准直激光照射输入平面, 输入平面的$(b, \;0)$处放置紧密贴合的待加密图像$o(x, y)$和随机相位密钥${p_{\rm{1}}}(x, y)$, 输入平面的$( - b, \;0)$处则放置随机相位密钥${p_{\rm{2}}}(x, y)$, 即两者对称置于输入平面光轴的两侧. 经过傅里叶变换后, 傅里叶透镜后焦面放置的电荷耦合器件(CCD)记录联合功率谱为加密图像, 可表示为
图 1 JTC光学图像加密系统(f是透镜焦距)
Figure1. Optical setup of image encryption based on JTC, where f is focal length.

$\begin{split}& I(u,v) \\=\;& {\left| {{\rm{F}}[o(x - b,y){p_1}(x - b,y) + {p_2}(x + b,y)]} \right|^2} \\=\;& {\left| {O(u,v) * {P_1}(u,v)} \right|^2} + {\left| {{P_2}(u,v)} \right|^2} \\&+O(u,v) * {P_1}(u,v)P_2^{{*}}(u,v)\exp ( - {\rm{i}}4\pi bu) \\&+ {[O(u,v) * {P_1}(u,v)]^*}{P_2}(u,v)\exp ({\rm{i}}4\pi bu).\end{split}$

其中, ${\rm{F}}[ \cdot ]$表示傅里叶变换, $( \cdot ) * ( \cdot )$表示卷积运算, ${( \cdot )^ * }$表示复共轭; $O(u, v)$, ${P_1}(u, v)$和${P_2}(u, v)$分别为$o(x, y)$, ${p_1}(x, y)$和${p_2}(x, y)$的傅里叶变换; b为待加密图像距光轴的距离.
解密系统为图2所示的$4 f$系统, 其中随机相位密钥${p_2}(x, y)$仍然放置于输入平面$( - b, \;0)$处, 加密图像$I(u, v{{)}}$则放置于频谱面$({\rm{0}}, \;0)$处.
图 2 图像解密光学系统
Figure2. Optical setup of image decryption.

扩束准直激光照射随机相位密钥, 经过傅里叶变换后照射放置于频谱面的加密图像, 得到光场分布为

$\begin{split} & E(u,v) = {P_2}(u,v) \exp ({\rm{i}}2\pi ub)I(u,v) \\ =\;& \big( |O(u,v) * P_1(u,v)|^2 + |P_2(u,v)|^2\big) \\ & \times{P_2}(u,v) \exp ( - {\rm i}2\pi ub) \\ & +O(u,v) * {P_1}(u,v)\exp ( - {\rm i} 2\pi bu) \\ &+ [O(u,v) * {P_1}(u,v)]^* (P_2(u,v))^2 \!\exp ({\rm i}6\pi bu).\end{split} $

最后$E(u, v)$经过傅里叶变换后被CCD记录, 其中第3项即为解密图像, 位置是$(b, \;0)$. 但在实际JTC加密系统中密钥模板面积有限, 为一截断纯相位模板, 因此其傅里叶谱不可能是一纯相位函数, 即随机相位密钥功率谱${\left| {{P_{\rm{2}}}{{(}}u, v{{)}}} \right|^2} \ne 1$, (2)式应修改为

$\begin{split}& E'(u,v) = {P_2}(u,v)\exp ({\rm{i}}2\pi ub)I(u,v) \\=\;& \left( {{{\left| {O(u,v) * {P_1}(u,v)} \right|}^2} + {{\left| {{P_2}(u,v)} \right|}^2}} \right)\\&\times{P_2}(u,v)\exp ({\rm{i}}2\pi ub) \\&+\!O(u,v) \!*\! {P_1}(u,v){\left| {{P_2}(u,v)} \right|^2}\!\exp ( \!-\! {\rm{i}}2\pi bu) \\&+\! \!{[O(u,v)\! *\! {P_1}(u,v)]^*}\!{( {{P_2}(u,v)} \!)^2}\!\exp ({\rm{i}}6\pi bu).\end{split}$

所以(3)式中第3项被CCD接收的解密图像可表示为

$\begin{split}{e_3}(x,y) =\;& {\rm{F}}[O(u,v) * {P_1}(u,v){\left| {{P_2}(u,v)} \right|^2}\exp ( - {\rm{i}}2\pi bu)]\\ =\; &o(x + b,y){p_1}(x+ b,y)* {p_2}(x + b,y) \\& \otimes {p_2}(x + b,y),\end{split}$

其中$( \cdot) \otimes ( \cdot)$表示相关. 由(4)式可见, 解密图像为原始图像和随机相位密钥相关函数的卷积, 解密图像中存在严重噪声, 不能完全恢复出原始图像. 传统JTC光学图像加密结果如图3所示, 其中图3(a)为原始图像, 图3(b)为加密结果图像, 图3(c)为解密结果图像.
图 3 (a)原始图像; (b)加密图像; (c)解密图像
Figure3. (a) Image to be encrypted; (b) encrypted image; (c) decrypted image.

因此, 本文提出一种基于深度学习的降噪方法解决JTC图像加密系统的弊端, 提高解密图像的质量, 并且不需要复杂的迭代数学运算和编程, 使其在实现高质量图像的加密和解密时更具有效性和实用性.

2

-->

3.1.深度学习网络结构

本文提出的深度学习生成对抗网络结构包括生成网络和判别网络两部分. 生成网络主体采用基于编码器和解码器的U-net^[15]架构, 包括5个由注意力模块和密集模块组成的密集通道注意力模块(DCAB). 其中注意力模块可以使网络将注意力集中在需要侧重的信息, 从而忽略无用信息, 而密集模块用于减少网络参数和提升网络容量, 以及复用图像样本的特征信息. 密集模块和注意力机制通过残差^[16]的方式结合. 同时网络中增加了跳跃连接来弥补因为网络深度增加而导致的梯度弱化问题.
传统深度学习方法平等的对待各通道信息, 会浪费计算资源, 抑制网络的性能, 为了解决这一问题, 使网络自适应的学习到各通道的特征信息, 本文使用注意力机制^[17]来对各通道之间关系建模, 增强网络性能, 其通道注意力模块如图4所示.
图 4 通道注意力模块, 其中x表示特征图, c表示特征图(通道)数量, ${w_{\rm{1}}}$和${w_{\rm{2}}}$分别表示降维前后的权重, $\sigma $是sigmod激活函数, $p({x_c})$表示全局池化功能
Figure4. Channel attention (CA), Where x is the feature map, c is the channel, ${w_1}$ and ${w_2}$ are the weight set of low-dimension, $\sigma $ is the sigmod activation function and $p({x_c})$ is global pooling function.

首先向注意力机制模块中输入通道特征图, 用$x = \left\{ {{x_1}, {x_2}, {x_3}, \cdot \cdot \cdot, {x_c}} \right\}$表示, 特征图数量为c, 大小为$H \times W$, H和W分别表示高度和宽度. 将每个通道空间信息压缩为局部特征信息, 对得到的特征信息作全局平均池化, 通过聚合的方式得到$1 \times 1 \times c$的特征图, 用${x_c}(i, j)$表示第c个特征值在$(i, j)$处的值, $z \in {{\bf{R}}^c}$表示经过压缩后的特征信息, 其中z的第c个元素可以表示为

$ {z}_{c}=P({x}_{c})=\frac{1}{H\times W}{\displaystyle \sum _{i=1}^{H}}{\displaystyle \sum _{j=1}^{W}{x}_{c}}(i,j) . $

然后利用各通道的特征描述进行建模, 并加入ReLu激活函数, 以保障学习到通道间的非线性关系. 为了降低模型的复杂性, 可对c个通道除以降维系数进行降维, 降维后的通道数量用$c'$表示. 最后对比原始特征图与学习到的特征图, 可学习到不同通道的权重. 经过注意力模块后的特征信息S可表示为

$s = \sigma ({w_2}{\rm{ReLu}}({w_1}{z_c})).$

在生成网络模型中加入密集模块^[18], 可以增强特征复用, 有效提取图像中的特征和细节. 密集模块和注意力模块组合成1个DCAB综合模块, 如图5所示, 其中密集模块5个卷积层互相连接且共享特征信息, 并结合LeakyRelu激活函数和BN (Batch normalization)^[19]层做归一化处理. 在DCAB综合模块中, 开始将特征信息流输入到1个3 × 3的卷积核中, 再经过密集模块和通道注意力模块, 最后将输入DCAB模块的特征信息和输出DCAB模块的特征信息相加得到新的特征信息.
图 5 密集通道注意力模块
Figure5. Dense channel attention block (DCAB).

网络的整体结构如图6所示, 首先128 × 128像素的噪声解密图像样本y输入到生成网络中, 经过2个DCAB综合模块, 期间使用最大池化进行下采样. 因为在网络设计过程中发现多的下采样会导致图像分辨率降低, 本文将网络的下采样次数设置为2, 保证输出图像的质量. 经过2个DCAB模块和2次反卷积后, 输入图像的尺寸与输出图像的尺寸一致. 此外, 本文的网络结构使用了跳跃连接将相同维度下的特征信息连接在一起, 以保证低频信息不被丢失, 从而保障输出图像的质量. 最后网络使用3 × 3的卷积核结合tanh激活函数输出恢复图像${x_f} = G(y)$.
图 6 整体网络结构
Figure6. Whole network structure.

系统的判别网络由4个残差块构成, 每个残差块使用2个3 × 3的卷积核, 步长为2, 每个卷积层中叠加LeakyRelu激活函数和BN层, 特征图经过判别网络时, 尺寸会经过$64 \times 64 \times 64$, $32 \times 32 \times 128$, $16 \times 16 \times 256$和$8 \times 8 \times 512$的变换.
2 -->

3.2.损失函数

网络结构的损失函数由对抗损失和非对抗损失两部分组成. 对抗损失由判别网络训练获得, 而非对抗损失用于保持图像的整体一致性, 通过均方误差 (MSE)损失函数和VGG损失函数计算. 损失函数可表示为

$ {l}_{\rm{total}}={\lambda }_{1}\times l_{\rm{MSE}}+{\lambda }_{2}\times l_{\rm{VGG}}+{\lambda }_{3}\times {l}_{\rm{adv}} , $

其中: λ₁, λ₂和λ₃分别表示MSE损失函数${l_{\rm{MSE}}}$, VGG损失函数${l_{{\rm{VGG}}}}$和对抗损失函数${l_{{\rm{adv}}}}$的权重系数, 本文λ₁参数设置为1, λ₂参数设置为0.00004, λ₃参数设置为0.6. 对抗损失是损失函数的主要部分, 它在生成网络和判别网络不断对抗训练中产生. 判别网络鉴别真实图片的能力在训练中不断增强, 即$D(x) = 1$; 鉴别生成网络生成的图像样本为假, 即$D(G(y)) = 0$. 在与判别网络的不断对抗训练中, 生成网络可以生成欺骗判别网络的样本, 即$D(G(y))$不断增大. 因此对抗损失函数可以看作是最大化判别网络的数学期望和最小化生成网络的数学期望, 其表达式为

$\begin{split}l_{\rm{adv}} =\;& \mathop {\min }\limits_G \mathop {\max }\limits_D {E_{x\sim p{\rm{data}}(x)}}[\log D(x)] \\&+ {E_{y\sim pG(y)}}[\log (1 - D(G(y)))],\end{split}$

其中${E_{x\sim {p_{\rm{data}}}(x)}}$表示真实图像样本数据分布的期望值, ${E_{y\sim pG(x)}}$表示噪声图像样本数据分布的期望值, $\mathop {\min }\nolimits_G$表示最小化判别网络判断假图像样本的期望, $\mathop {\max }\nolimits_D$表示最大化判别网络判断真实图像样本的期望.
在仅考虑对抗损失的情况下, 整体网络输出的恢复图像质量不能满足要求, 因此在损失函数中加入非对抗损失函数以提升图像的质量. 非对抗损失中, 输出图像与原始图像的均方误差${l_{\rm{MSE}}}$可表示为

$ {l}_{\rm{MES}}=\frac{1}{H\times {\rm{W}}}{\displaystyle \sum _{x=1}^{W}{\displaystyle \sum _{y=1}^{H}{({p}_{x}-G({p}_{y}))}^{2}}} , $

其中, ${p_x}$表示真实图像样本, $G({p_y})$表示生成网络生成的假图像样本. 但${l_{\rm{MSE}}}$在提高生成图像高频部分的质量中作用有限, 因高频信息主要为图像的纹理和细节, 对于图像质量至关重要, 因此VGG损失函数被引入, 使用经过ImageNet分类任务训练的VGG19提取图像高频信息, ${l_{{\rm{VGG}}}}$可表示为

$\begin{split} {l}_{\rm{VGG}}{}_{(i,j)}=\;&\frac{1}{{H}_{i,j}{W}_{i,j}}\displaystyle \sum _{x=1}^{{h}_{i,j}}\displaystyle \sum _{y=1}^{{w}_{i,j}}\Big(v{({p}^{{'}}{}_{x,y})}_{i,j}\\&-v{(G({p}_{x,y}))}_{i,j}\Big)^{2} , \end{split}$

其中$v{( \cdot )_{i, j}}$表示经过VGG19中第i个池化层的第j个卷积层提取的特征信息.

本文的生成对抗网络训练过程中选用ImageNet数据集的汽车、斑马、鸟类和山羊4个类别, 以及汉字和二维码2个二值图像类别, 每个类别采用500张图片作为训练集, 每个类别使用100张图片作为测试集, 使用50张图片作为验证集. 使用RTX 2080ti显卡训练实验数据, 初始学习率设置为0.0002, 采用自适应的方式下降学习率. 使用Xavier为权重初始化, 设置batch-size大小为4.
如图7(a₁)—(f₁)所示, 在生成对抗网络训练结果的基础上, 选择4幅灰度图像和2幅二值图像进行加密, 其中多个原始图像尺寸为$0.5\;{\rm{cm}} \times 0.5\;{\rm{cm}}$, $128 \times 128$像素, JTC加密系统中激光波长$\lambda = 532 \;{\rm{nm}}$, 透镜焦距$f = 0.3\;{\rm{m}}$, 待加密图像距光轴的距离$b = 0.5\;{\rm{cm}}$. 经过图1所示的传统JTC光学图像加密系统和图2所示的解密系统, 解密结果图像如图7(a₂)—(f₂)所示, 可见解密图像中含有严重噪音, 很多情况下图像质量不能满足要求, 限制了传统JTC光学图像加密系统的应用. 经过本文提出的深度学习新型降噪算法处理的结果如图7(a₃)—(f₃)所示, 可见该方法很好地降低了传统JTC光学图像加密系统解密图像的噪声, 极大地提高了解密图像质量, 对于二值图像的去噪效果要优于灰度图像. 为了验证本文提出的去噪方法有效性, 将传统的BM3D去噪方法和基于深度学习的pix2pix去噪方法应用于JTC光学图像加密系统并进行对比. 其中BM3D去噪方法处理解密图像的结果如图7(a₄)—(f₄)所示, 而基于深度学习的pix2pix去噪方法处理解密图像的结果如图7(a₅)—(f₅)所示. 通过图7的对比可见, 本文方法明显优于传统去噪方法.
图 7 (a₁)?(f₁)原始的图像; (a₂)?(f₂)经过光学加密的噪声图像; (a₃)?(f₃)本文提出算法去噪图像; (a₄)?(f₄)为BM3D去噪图像; (a₅)?(f₅) pix2pix去噪图像
Figure7. (a₁)?(f₁) Ground truth; (a₂)?(f₂) image encrypted image; (a₃)?(f₃) image deonsed by the algorithm proposed in this paper; (a₄)?(f₄) deonsed by BM3D; (a₅)?(f₅) image deonsed by pix2pix.

最后, 分别使用峰值信噪比(PSNR)、结构相似性(SSIM)和MSE函数评估了本文去噪方法和传统去噪方法的优劣, 包括传统的BM3D和pix2pix去噪方法及基于G-S算法和IAFC设计相位密钥提高解密图像质量的方法^[20]. 计算结果如表1所列, 根据计算结果, 本文提出的去噪方法处理的解密图像在质量、鲁棒性和图像的结构相似性方面都优于传统去噪方法, 在降低传统JTC光学图像加密系统中噪声影响, 提高JTC光学图像加密系统用于高质量图像加密的有效性方面具有极大优势.

	指标
	PSNR	MSE	SSIM
BM3D	11.4615	4708.7266	0.0556
pix2pix	17.4363	1334.5201	0.4285
G-S	12.4521	3834.3358	0.1598
IAFC	19.0561	731.2579	0.5784
本文方法	22.4049	421.0133	0.7398

表15种去噪方法结果对比
Table1.Comparison of experimental data results.

本文提出了一种用于传统JTC图像加密系统的对抗生成网络去噪模型, 通过将密集模块和注意力模块相结合引入生成网络中, 有效提取图像的特征信息. 损失函数方面, 非对抗损失使用VGG-19网络来恢复图像中的纹理和细节, 实验结果表明, 本文提出的去噪方法优于传统的BM3D去噪算法和pix2pix模型, 也优于基于G-S算法和IAFC设计相位密钥提高解密图像质量的方法, 且在各项指标上均有明显的提高. 该方法极大地消除了JTC光学图像加密系统中的噪声影响, 有效地提高了JTC光学图像加密系统用于高质量图像加密的有效性和可行性, 推动了深度学习算法在光学图像加密降噪领域的应用.