近年来, 众多****对图像特征检测算法进行了研究, 提出了多种算法, 如利用光照一致性[1]、纹理[2]、相机[3-4]、马尔可夫[5-6]等特征, 以及图像噪声估计[7-9]等方法, 较好实现了对拼接篡改图像的检测。利用小波变换和遗传算法检测拼接篡改图像具有非常不错的效果[10]。Rajput和Ansari[11]使用多种滤波器提高检测准确度。一种自嵌入脆弱水印方案用3个分量综合确定图片的真实性[12]。然而这些算法无法确定篡改区域的具体位置。一部分图像拼接检测的研究人员手动构造用于拼接检测的特征, 虽然人工构造的特征针对性强, 但不能广泛适用, 只在某些特定的问题和比较短的时间内有效。
近年来, 深度学习理论蓬勃发展, 为图像拼接检测技术提供了一种新的思路。利用深度学习的方法提取拼接图像的特征, 这些特征本质上表征了图像中的篡改区域[13]。该方法直接依赖于数据, 几乎适用于所有的图像, 适用性非常强, 很大程度上减少了相关研究人员分析选择特定特征需要花费的的时间和精力。
本文构建了一种特征学习算法用于图像拼接篡改区域检测, 算法将卷积神经网络(Convolutional Neural Networks, CNN)前端添加高通滤波器, 配合指数线性单元(Exponential Linear Unit, ELU), 检测拼接篡改的区域。本文算法对拼接篡改图像之中的痕迹进行提取, 避免了人工提取的鲁棒性不强问题; 在CNN提取特征后, 直接对图像进行分类, 避免了单独训练分类的耗时。
1 算法原理 CNN广泛应用于图像识别、分类等工作, 效果显著, 是最典型的深度学习模型之一。相比于传统前馈神经网络具有相似大小层, CNN将局部连接、权值共享和池化结合起来, 具有更少的连接和参数, 使得对于图像的任务可以成功进行。本文提出了一种基于CNN的拼接检测模型, 可以直接从图像中提取其经过拼接操作后的痕迹特征, 从而完成拼接检测。该网络模型架构如图 1右侧所示。图 1左侧流程图是拼接图像取证的方案。
 |
| 图 1 传统检测模型与CNN拼接检测模型框架示意图 Fig. 1 Framework sketch map of traditional detection model and CNN mosaic detection model |
| 图选项 |
该方案所提出的基于CNN的图像拼接检测算法是将图像拼接检测问题看作二元分类问题, 与传统方法不同之处在于:
1) CNN的本质是模拟生物自然的视觉认知机制, 其中的卷积层表征了生物在通过视觉认知事物时的“感受野”, 即事物的局部特征。通过卷积层获取认知对象的局部特征, 送入到激励层和池化层。而激励层和池化层将接收到的部分特征进一步进行分析和降维, 进而筛选出拼接图像中最为本质的特征。
2) 本文算法不再需要单独训练神经网络来进行最后的分类。通过各个卷积层提取出图像特征后, 在全连接层进行特征的整合, 最终利用softmax分类器直接进行分类。
3) 在一般的图像处理算法中, 通过预处理可以将图像尺寸设定为较小的尺寸, 可以减少网络模型的层数, 从而缩短模型训练的时间。但是简单的下采样会丢失图像中的有用信息, 故而在训练图像拼接检测网络模型时, 直接输入原检测图像。本文图像拼接检测网络模型结构主要由图像预处理层、卷积层和全连接层构成。
1.1 图像预处理层 图像预处理的功能包含对训练样本进行提纯、数据归一化、压缩图像大小、数据增强以及适应神经网络结构。原始数据中可能存在不适用于该算法的数据, 需要通过预处理, 将这部分数据去掉, 或者减少它们的影响。在对图像做卷积时, 一般将数据统一映射到[0, 1]区间上, 目的是去除数值的单位限制, 一方面便于不同量级的指标能够进行比较, 另一方面可提升模型的收敛速度。针对某项任务, 合适的图像尺寸对提高模型检测速度和精度都有一定的帮助。对训练样本进行预处理, 可以增加数据的多样性, 使得网络具有更好的鲁棒性, 常规的方法有翻转、裁剪、镜像等。模型接收的数据格式是固定的, 在训练之前, 需要将训练样本处理成网络可以识别的格式。
1.2 卷积层 经过图像预处理层和卷积层处理后的输入图像中的拼接篡改痕迹被逐层聚集。具体在卷积层内部的操作主要包括以下3种:卷积、非线性激活和池化。
卷积运算的优越性在于稀疏交互和权值共享。其中稀疏交互是指每个低级特征将仅从输入的一个部分计算, 大大减少了需要存储的参数, 更小的复杂度达到相同的效果。
完成卷积之后, 紧跟着的是激活函数以便引入非线性特性。主要功能是限制每一层卷积的输出幅度。激活函数的选择由数据性质和目标变量分布决定[14]。
在卷积的整个过程中, 池化是整个流程中的最后一步, 这种方法在下采样中加入非线性的因素。一般使用的是平均池化(Mean Pooling)和最大池化(Maximum Pooling), 在该算法中, 经过实验分析, 选用了最大池化。
图 2为一个池化层的示例, 在4×4的特征矩阵上沿着宽度和高度下采样, 生成了一个2×2大小的特征矩阵, 原有的信息减少了3/4。
 |
| 图 2 最大池化示意图 Fig. 2 Sketch map of maximum pooling |
| 图选项 |
总地来说, 池化层具有如下功能:①减少特征图的大小; ②随着图像边缘特征等信息逐渐抽象为需要的高层特征; ③具有防止模型过拟合, 提升模型的泛化能力的功能。
1.3 分类处理层 分类处理层主要组成结构是2层全连接层:模型前部的卷积计算得到的计算结果逐层传递一直到变量数量足够少进入全连接层, 从而将卷积层传递的特征化为高度抽象的结果。
在训练网络时, 需要选择合适的损失函数(Loss Function), 并进行合适的调整以得到最好的网络性能。损失函数包含对数似然函数、交叉熵函数等。本文经过多次实验和调整最终选择交叉熵函数。
模型通过将损失函数最小化进行调优。具体就是:通过计算网络与真值的距离, 并通过反向传播更新网络模型中的参数[15]。为了防止过拟合问题的出现, 使用网络模型中加入了dropout。dropout具体情况是:以一定的概率(通常为0.5)去掉模型中某条神经元上连接的数据。这种方法提高了模型的泛化能力, 最终提高了模型的性能。
2 模型结构 网络模型的具体结构设置如图 3所示。图中:卷积滤波固定, @前后的数字分别表示特征图的数量和大小。输入分辨率96×96的图像, 图像格式由图像预处理层负责统一, 然后经过3层卷积。第1层卷积核大小为5×5, 数量16;第2层和第3层卷积核大小为3×3, 数量依次为32、64。第1个卷积层C1对经过图像预处理层的图像数据卷积得到尺寸为92×92的特征矩阵; 第2个卷积层C2对由C1输出的特征矩阵卷积; 第3个卷积层C3则拥有64个通道, 对C2输出的特征矩阵卷积。完成3次卷积处理后, 特征图中变量数量级可以由全连接处理。全连接层由L4(变量6 400)和L5(变量640)两层构成, 用ELU作为激活函数。于此同时, 在卷积层C1~C3中每次卷积完成后, 都要经过窗口大小为3×3、步长为3的最大池化; 最终由卷积层和全连接层提取的6 400个特征变量输送到3个分类模块, 分类模块由全连接层构成。全连接层所有输出经过修正线性单元(RELU)处理, 然后进入分类层给出预测结果, 分类层使用softmax进行处理。本文使用的语言是python, python版本为3.6, 选择Tensorflow作为搭建网络模型的工具, 版本为1.6。最终在一台搭载ENVY dv4 Intel(R) core(TM) i5-3230M CPU2.4 GHz处理器上的惠普电脑上完成了网络训练。
 |
| 图 3 CNN结构示意图 Fig. 3 Structure map of CNN |
| 图选项 |
3 实验及结果分析 3.1 实验数据集与样本生成 训练模型使用的数据集来自IEEE IFS-TC图像拼接取证大赛, 共包含图像1 500张, 其中真实图像1 050张, 被篡改拼接过的图像450张。在训练网络模型时, 按4:1的比例将全部图像分为训练集和测试集:训练集1 200张图像中包含800张真实图像、400张篡改拼接过的图像; 测试集300张图像包含250张真实图像、50张篡改拼接过的图像。根据神经网络模型数据驱动的特点, 首先将图像裁剪成局部重叠且分辨率大小为96×96的三通道彩色图像。然后向右移动每张图像, 移动步长为10个像素。对拼接篡改图像的处理需要保证拼接篡改区域的像素面积占整个图像像素面积的25%~75%, 以便于模型准确识别检测。在整个实验过程中, 共使用了尺寸为96×96的训练图像140 000张, 其中真实图像和拼接图像各占一半, 随机选择其中130 000张用于训练图像, 剩余10 000张用于验证图像。最后对所有训练测试图像进行标准化, 使用的是归一化方法, 表达式为
 | (1) |
式中:Mij为输入, 在本模型中则为大小96×96×3的矩阵(输入图像为96×96的RGB彩色图像); pixel_depth为单位像素灰度的最大值。
将输入图像按照各自的通道(R、G、B)分开为3个部分。分别进行无关联的独立训练, 使用集成分类器对输出结果投票, 将2个及以上判定为拼接篡改图像的原图像最终判定为拼接, 否则, 认定原图像为真实图像。判定过程如图 4所示。
 |
| 图 4 拼接篡改图像检测流程图 Fig. 4 Flowchart of mosaic tampering image detection |
| 图选项 |
3.2 网络优化与实验结果 过拟合是一种比较普遍地影响模型最终识别准确度的问题, 为了防止训练过程中网络模型出现过拟合的问题, 经过实验分析, 选择L2正则化防止这一问题的出现。
训练方法为小批量梯度下降(Mini-Batch Gradient Descent), 单次输入数量为16, 利用优化算法Adam进行调优, 为了改善传统的梯度下降算法, Adam使用了动量(参数的移动平均数), 防止网络模型振荡不收敛, 以及Adam算法本身具有的学习率自衰减机制, 将学习率设置为0.001, 在训练过程中不再需要手动调整学习率的大小。
训练共迭代8 000次, 模型每32次打印输出损失和模型在验证集上的准确率。从图 5中可以看出, 随着训练次数递增, 模型在训练集上的损失逐渐降低直到趋于稳定, 在验证集上的准确率逐渐升高直到趋于稳定。
 |
| 图 5 神经网络训练过程验证集上的准确率和损失函数下降的过程示意图 Fig. 5 Process diagram of accuracy rate and loss function decline on verification set of neural network training process |
| 图选项 |
RGB三个颜色通道模型的ROC(Receiver Operating Characteristic)曲线如图 6所示。图中:TPR为真正类率, FPR为假正类率, B通道在训练过程中稍好, 但是最终都趋于稳定。经过多次的模型训练, 结果表明分类器输出可能会有细微差异, 但整体来看, 可以认为是趋于相同的。经过训练, 最终R、G、B通道模型在测试集上的准确率分别为82.1%、81.9%、82.9%。通过判决器之后的准确率为84.3%。详细数据如表 1所示。从表中不难发现, 对包含拼接篡改区域的图像, 模型准确率在70%左右, 不包含拼接篡改区域的图像误检率为5%左右, 整体准确率为83%左右。通过分通道卷积最终判决的策略, 准确率得到明显提高。
 |
| 图 6 不同特征在IEEE IFS-TC训练集上的ROC曲线 Fig. 6 ROC curves of different characteristics on IEEE IFS-TC training set |
| 图选项 |
表 1 不同分类器在测试集上的实验结果 Table 1 Experimental results of different classifiers on test sets?
| 分类器 | 准确率 | 召回率 | 真负类率 |
| B_CNN | 82.9 | 70.32 | 95.54 |
| R_CNN | 82.1 | 69.82 | 95.15 |
| G_CNN | 81.9 | 69.85 | 93.95 |
| RGB_CNN集成分类器 | 84.3 | 73.84 | 96.18 |
表选项
图 7为模型检测结果的示例。从图中可以看出, 该算法对于图像拼接篡改现象具有预期的检测效果。
 |
| 图 7 实验结果 Fig. 7 Experimental results |
| 图选项 |
4 结论 本文将CNN的方法、理念引入到图像拼接篡改检测问题当中, 利用深度学习的方法学习拼接篡改图像被篡改地方的特征, 通过多次实验以及分析, 得出以下结论:
1) 所提出的一种适用于拼接篡改图像检测的深度学习网络模型, 通过卷积以及多次迭代, 能够学习真实图像与拼接图像的区别, 并通过卷积拼接特征达到抽象出更高级特征的目的。
2) 算法使用一个网络结构将特征提取与分类进行融合, 利用反向传播不断更新参数, 能够使得模型准确率得到提升。
3) 在IEEE IFS-TC数据集上的测试结果表明, 该算法在IEEE IFS-TC数据集上性能良好, 不过由于网络模型自主学习到的拼接特征可控性较弱, 从而导致得到的模型受到局限, 无法广泛应用到全部类别的拼接篡改图像检测中。
随着深度学习理论的进一步发展, 对抗神经网络(GAN)逐渐走向成熟, 在今后的研究中, 将尝试把GAN引入图像拼接检测领域, 通过GAN中生成网络和对抗网络的博弈式训练, 进一步提高算法检测的准确度。
参考文献
| [1] | HAGHIGHI B B, TAHERINIA A H, MOHAJERZADEH A H. TRLG:Fragile blind quad watermarking for image tamper detection and recovery by providing compact digests with optimized quality using LWT and GA[J]. Information Sciences, 2019, 486: 204-230. DOI:10.1016/j.ins.2019.02.055 |
| [2] | 李燕, 钟磊, 李健. 基于LBP和共生矩阵的图像拼接篡改检测[J]. 武汉大学学报(理学版), 2015, 61(6): 517-524. LI Y, ZHONG L, LI J. Detection of image splicing forgery based on LBP and co-occurrence matrix[J]. Journal of Wuhan University(Natural Science Edition), 2015, 61(6): 517-524. (in Chinese) |
| [3] | LUO W, QU Z, HUANG J, et al.A novel method for detecting cropped and recompressed image block[C]//IEEE International Conference on Acoustics, Speech and Signal Processing.Piscataway, NJ: IEEE Press, 2007: 217-220. |
| [4] | SWAMINATHAN A, WU M, LIU K J R.Component forensics of digital cameras: A non-intrusive approach[C]//2006 40th Annual Conference on Information Sciences and Systems.Piscataway, NJ: IEEE Press, 2007: 1194-1199. |
| [5] | ZHANG Q, LU W, WANG R, et al. Digital image splicing detection based on Markov features in block DWT domain[J]. Multimedia Tools and Applications, 2018, 77(23): 31239-31260. DOI:10.1007/s11042-018-6230-z |
| [6] | KANG X, LI Y, QU Z, et al. Enhancing source camera identification performance with a camera reference phase sensor pattern noise[J]. IEEE Transactions on Information Forensics and Security, 2012, 7(2): 393-402. DOI:10.1109/TIFS.2011.2168214 |
| [7] | ZENG H, ZHAN Y, KANG X, et al. Image splicing localization using PCA-based noise level estimation[J]. Multimedia Tools and Applications, 2017, 76(4): 4783-4799. DOI:10.1007/s11042-016-3712-8 |
| [8] | YAO H, WANG S, ZHANG X, et al. Detecting image splicing based on noise level inconsistency[J]. Multimedia Tools and Applications, 2017, 76(10): 12457-12479. DOI:10.1007/s11042-016-3660-3 |
| [9] | HAN J G, PARK T H, MOON Y H, et al. Quantization-based Markov feature extraction method for image splicing detection[J]. Machine Vision and Applications, 2018, 29(3): 543-552. DOI:10.1007/s00138-018-0911-5 |
| [10] | BELFERDI W, BEHLOUL A, NOUI L. A Bayer pattern-based fragile watermarking scheme for color image tamper detection and restoration[J]. Multidimensional Systems and Signal Processing, 2019, 30(3): 1093-1112. DOI:10.1007/s11045-018-0597-x |
| [11] | RAJPUT V, ANSARI I A.Image tamper detection and self-recovery using multiple median watermarking[J/OL].Multimedia Tools and Applications, 2019: 1-17[2019-03-01].https://doi.org/10.1007/s11042-019-07971-w. |
| [12] | SHIN H C, ORTON M R, COLLINS D J, et al. Stacked autoencoders for unsupervised feature learning and multiple organ detection in a pilot study using 4D patient data[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(8): 1930-1943. |
| [13] | VINCENT P, LAROCHELLE H, LAJOIE I, et al. Stacked denoising autoencoders:Learning useful representations in a deep network with a local denoising criterion[J]. Journal of Machine Learning Research, 2010, 11(12): 3371-3408. |
| [14] | LUKAS J, FRIDRICH J, GOLJAN M. Digital camera identification from sensor pattern noise[J]. IEEE Transactions on Information Forensics and Security, 2006, 1(2): 205-214. DOI:10.1109/TIFS.2006.873602 |
| [15] | LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324. DOI:10.1109/5.726791 |
