根据待检测的2幅图像是否由同一传感器获取，可将变化检测算法分为同源遥感图像变化检测和异源遥感图像变化检测2种类型。随着遥感技术的快速发展，卫星传感器已由过去的单一型发展成了如今多样化的传感器。在某些特定的紧急情况下，如灾害管理和灾后评估等，由于卫星运行需要一定的周期，仅有的遥感图像可能是通过不同的卫星传感器在目标日期获得的，这种情况下，需要快速、灵活、准确的方法来处理不同传感器获取的图像。
Alberga[1]提出了一种利用光谱不变测度来描述多时相图像像素空间排列的差异的方法，该方法考虑了局部照度差异，不需要考虑光谱的维数，类似于比较一般单通道图像上的局部块的纹理特征。Fernandez-Prieto和Marconcini[2]提出了一种对标签描述的变化子集进行选择性变化检测的参数模型，依赖于图像建模的联合概率，独立于图像的光谱特征。文献[3-4]提出了一种基于核的多源遥感数据框架，将多时相图像在光谱通道上拼接，利用核典型相关分析(KCCA)[3]学习非线性特征变换，提高变化检测精度[4]。基于目标的变化检测算法是一种综合图像分割和分类的集成方法[5]，适用于有显著检测目标[6-8]的情况，如专门对建筑物的变迁检测、道路的整改检测及河流的变化检测等。Mercier等[9]提出了一种基于条件copulas的异源遥感图像变化检测算法，为了得到2幅图像的统计关系，建立了一个手工制作的变更训练区域模型。
传统的变化检测算法往往基于手工提取特征，表征效果并不理想。深度神经网络可以提取图像更深层次的非线性特征[10]，具有更好的表征性，因此出现了许多基于深度学习的变化检测算法[11]。文献[12]提出了一种基于叠加去噪自编码(SDAEs)的变化检测算法，利用人工或现有算法获取粗糙的差异图，从差异图选取的不变特征对网络进行优化。文献[13]提出了一种基于孪生卷积神经网络(Siamese CNN)用来检测建筑物和树木变化的框架，先对不同传感器获得的图像进行预处理，将其转化为同一模态后再输入到孪生网络中提取变化信息。Liu等[14]提出了一种新的对称卷积耦合网络(SCCN)，应用一种新的目标函数进行网络中参数的更新。Hughes等[15]利用伪孪生卷积神经网络(Pseudo-Siamese CNN)来识别异源图像中相应的小块。Niu等[16]使用条件生成对抗网络(cGAN)将异源遥感图像转换到一个空间，使其信息具有更一致的表示。
图像作为一种信号的载体，某个像素的特性必然和其邻域像素有着很大的联系，因此其具有较强的空间信息特性，同时多光谱遥感图像具有丰富的光谱特征。如果能够同时利用图像的空间特征和光谱特征，必然能为变化检测任务带来效果的提升，然而现有方法大多单单利用图像的空间特征或光谱特征。基于上述考虑，本文设计了一种可以同时提取图像的空间特征和光谱特征的混合卷积神经网络(HCNN) 模型，实验表明了所提算法的有效性。
1 混合网络总体结构 混合网络的总体结构如图 1所示。其主要分为2支网络：分支1网络是伪孪生网络，利用2个权重不共享的2D卷积神经网络(2D-CNN)提取异源遥感图像块的空间特征，并将其输入到循环神经网络(RNN)学习图像块间的空间特征的变化特征；分支2网络是早期融合网络，由于多光谱图像具有丰富的光谱信息，为了充分利用光谱信息，先将2个立体图像块在光谱通道上拼接，获得具有变化信息的更多光谱通道的图像块，利用3D卷积神经网络(3D-CNN)学习图像块的光谱特征的变化特征。将2支网络输出的特征进行融合，得到综合考虑空间特征和光谱特征的变化特征，将此特征输入到sigmoid层进行二分类，判断该特征是否发生了变化。在伪孪生网络中加入对比损失函数，使得在特征空间中，未变化图像对的空间特征差异更小，变化图像对的空间特征差异更大，有利于提升网络的区分能力。
 |
| 图 1 基于混合网络的异源遥感图像变化检测 Fig. 1 Change detection of heterogeneous remote sensing image based on hybrid network |
| 图选项 |
2 基于伪孪生网络的空间变化特征提取 本节介绍伪孪生网络的结构，如图 1所示。伪孪生网络包括2D-CNN和RNN两部分。利用2D-CNN分别提取2张异源遥感图像块的空间特征，再利用RNN提取2个空间特征间的变化特征。
2.1 异源遥感图像块的空间特征提取 CNN可以有效地提取图像的空间特征，笔者认为相对简单的网络架构更适合于本文任务，主要原因如下：①变化检测的目的仅仅是区分2个类(变化和未变化)，这比计算机视觉中一般的图像识别问题(如涉及1 000个类别的ImageNet分类)所需的模型复杂度要低得多。②输入的图像块的空间尺寸较小，自然需要的网络层数较少。因此，本节采用的CNN网络是自行设计的针对变化检测的网络，结构简图如图 1所示，网络具体配置将在5.2节介绍。
2.2 空间特征间的变化特征提取 变化检测任务针对不同时间在同一地点拍摄的图像进行分析，得到其中发生变化的位置，这2张图像间存在时间相关性，属于时间序列数据。RNN能够处理有时间依赖的、有先后顺序的输入，上一个时刻的网络状态信息将会作用于下一个时刻的网络状态，从而使网络表现出动态的时间特征。本文采用RNN对不同时刻图像块之间的依赖关系进行建模。LSTM[17]是一种特殊的RNN结构。本文将2D-CNN提取的不同时刻异源遥感图像块的空间特征输入到LSTM中，提取2种空间特征间的变化特征。具体实现方式如图 2所示。
 |
| 图 2 变化检测任务中使用LSTM模型 Fig. 2 LSTM model used in change detection task |
| 图选项 |
LSTM中包含一系列时间的单元状态，当前t时刻LSTM的隐藏层输出ht可按照如下方式计算：
 | (1) |
式中：tanh(·)为双曲正切函数；ct为记忆单元；ot为用来控制单元状态有多少信息输出到LSTM当前状态的输出门，其更新公式为
 | (2) |
其中：Wo和Uo分别为输入的输出权重矩阵和上一时刻输出的输出权重矩阵；bo为偏置；σ表示sigmoid激活函数；fTt表示跨传感器图像块的空间特征；Tt为图像块获取的时间参数；T为权重矩阵的时间参数。
记忆单元ct通过是否部分丢弃当前记忆内容并添加记忆单元
 | (3) |
式中：ft表示遗忘门；it表示输入门；?表示逐像素相乘。
新的记忆单元
 | (4) |
式中：Wc和Uc分别为输入的输出权重矩阵和上一时刻输出的输出权重矩阵；bc为偏置。
it代表输入门，将新的输入信息选择性地输入到记忆单元中，ft代表遗忘门，将记忆单元中的信息选择性地遗忘。这2个门的计算方式如下：
 | (5) |
 | (6) |
式中：Wi、Ui和Vi分别为输入门的输入的输出权重矩阵、上一时刻输出的输出权重矩阵和上一时刻单元状态的输出权重；bi、bf为偏置；Wf、Uf和Vf分别为遗忘门的输入的输出权重矩阵、上一时刻输出的输出权重矩阵和上一时刻单元状态的输出权重。
3 基于早期融合网络的光谱变化特征提取 本节介绍早期融合网络的结构，如图 1所示。早期融合网络包括3D-CNN和全连接(FC)层两部分。先将2个立体图像块在光谱通道上拼接，获得具有更多光谱通道数的一个图像块，利用3D-CNN能够提取该图像块中光谱维度上的特征的变化。
在高/多光谱图像分类任务中，3D卷积已被证实能够学习立体图像块的空间-光谱特征的局部信号变化[18]。因此，在本节网络中利用3D卷积构建卷积层，提取图像块的光谱特征的局部信号变化，为后续的分类提供重要的判别信息。图 3展示了2D卷积和3D卷积的主要区别，3D卷积要比2D卷积多了一个运算维度。
 |
| 图 3 2D卷积和3D卷积操作的比较 Fig. 3 Comparison of 2D convolution and 3D |
| 图选项 |
传统的3D卷积定义如下：
 | (7) |
式中：vljxyz为特征图在(x, y, z)位置处的输出；f为激活函数；Hl、Wl和Rl分别为3D卷积核的长度、宽度和深度；l为网络的层数；j为某网络层中卷积核的个数；kljmhwr为连接到前一层中第m个特征块的卷积核中位置为(h, w, r)对应的值；blj为偏置。
在本节提出的模型中，每个特征块被独立对待。因此，在上述公式中，将m设置为1，则3D卷积可以被表示为
 | (8) |
式中：i为前一层的特征块的个数；vlijxyz为位置(x, y, z)处的输出，通过计算第l-1层的第i个特征块v(l-1)i(x+h)(y+w)(z+r)和第l层的第j个核kljhwr的卷积得到。
4 损失函数 混合网络的损失函数主要由2部分组成：二元交叉熵损失函数和对比损失函数。变化检测任务属于二元分类问题，则根据传统的二元分类网络，选择二元交叉熵损失函数；伪孪生网络中的2支子网络权重不共享，对不同时刻提取的空间特征之间添加了额外的限制条件，即对比损失函数[19]。通过减小对比损失函数，使特征空间中未变化图像对的空间特征差异更小，变化图像对的空间特征差异更大。
令(XT1, XT2)表示输入图像对，y表示类标签。y=0表示图像对是变化的，y=1表示图像对是未变化的。二元交叉熵损失函数和对比损失函数分别用Lce和Lcon表示：
 | (9) |
 | (10) |
式中：
整体的损失函数如下：
 | (11) |
式中：λ为用来平衡分类损失和对比损失的权重。
2种损失函数的结合使网络的训练更加稳定，使异源遥感图像变化检测的结果更加准确。
5 实验结果与分析 5.1 实验数据集 1) Bastrop复杂火灾数据集
数据集[20]包含3组由3种不同类型的传感器获得的图像对，已经完成几何配准等预处理。图 4(a)~(d)显示了待检测的4张图像(烧毁区域用蓝色标出)，空间大小为1 534×808，具有不同的光谱波段。
 |
| 图 4 Bastrop复杂火灾数据集 Fig. 4 Bastrop complex fire dataset |
| 图选项 |
① L5T1 vs. L5T2数据。图 4(a)、(b)为同一传感器Landsat 5(L5)分别在2011年8月26日(T1)和2011年9月11日(T2)获取，区别是夏季16天的时间间隔内的烧伤疤痕。图 4(e)为参考的真实变化图像。
② L5T1 vs. ALIT2数据。图 4(c)为另一个传感器Landsat Advanced Land Imager(ALI)在2011年9月12日获取。变化仍然是火灾导致的烧伤疤痕。图 4(e)为参考的真实变化图像。
③ L5T1 vs. L8T2数据。图 4(d)为另一个传感器Landsat 8(L8)在2013年6月28日获取。除了火灾导致的烧伤疤痕以外，还涉及到自然因素导致的变化，这些变化与火灾导致的变化的光谱类别相同。图 4(f)为参考的真实变化图像。
2) Onera变化检测数据集
本文使用数据集[21]中的香港图像对和孟买图像对进行变化检测，主要变化是城市增长。图 5(a)、(b)分别在2016年9月27日和2018年3月23日由同一传感器获取的香港图像对。图 5(c)为参考图像，图像大小为693×538，这里选取了RGB+IR四个光谱通道。图 5(d)、(e)分别在2015年11月30日和2018年3月19日同一传感器获取的孟买图像对。图 5(f)为参考图像，图像大小为858×557，这里选取了RGB+IR四个光谱通道。
 |
| 图 5 Onera变化检测数据集 Fig. 5 Onera change detection dataset |
| 图选项 |
5.2 实验设置 1) 训练集。从变化和未变化的区域中分别各随机选取900个像素点对，以这些像素点为中心，与周围邻近像素点构成大小为9×9×c1(c2)的图像块，c1和c2分别为时间T1和T2获取的图像的光谱通道数。
2) HCNN网络架构。图 6展示了网络配置的示意图。T1和T2图像块通过一些卷积层，其中卷积核的大小为3×3，而不是5×5或者7×7。这样做的好处是提高网络的非线性，使得网络更加具有判别性。卷积的步长为1，填充为0。所有的卷积和FC层都用ReLU作为激活函数，除了最后一层FC层利用sigmoid作为激活函数。
 |
| 图 6 HCNN的网络配置示意图 Fig. 6 Schematic diagram of HCNN network configuration |
| 图选项 |
3) 网络训练。本节提出的混合网络基于Keras深度学习框架进行训练，并利用Adam作为优化器。初始的学习率设置为0.01。所有的网络权重都使用he_normal初始化器进行初始化，该初始化器从正态分布中抽取样本，使用sigmoid函数作为输出层的激活函数，进行二元分类。本节网络的训练硬件平台是单个有12GB内存的NVIDIA GeForce GTX TITAN。
5.3 实验指标 遥感图像变化检测结果分析常采用定性和定量相结合的方式。从定性的视觉图像分析，可以大致观测出检测结果图和实际地物变化参考图是否存在较大差异。从定量的评价指标分析，可以根据精确的数字结果来比较不同算法的优劣。
本文中使用TP和TN分别表示被正确检测的变化像素个数和被正确检测的未变化像素个数，FP表示虚检数，指参考图中未发生变化但在实际的变化检测结果图发生变化的像素个数，FN表示漏检数，指参考图中发生变化但在实际的变化检测结果中未发生变化的像素个数。由上述指标已经扩展得到了很多指标，其中，以总体分类精度(Overall Accuracy, OA)和Kappa系数应用最为广泛。这2个值越大，变化检测效果越好。
OA值等于被正确检测的像素数与总像素数的比值，具体计算方式如下：
 | (12) |
AA值等于各个类别中分类正确像素数与总像素数的比值的平均值，具体计算方式如下：
 | (13) |
Kappa系数是另外一种表征分类精度的方法，等于采用某算法分类与完全随机的分类产生错误减少的比例，反映出变化检测结果和参考图的一致性，可用如下公式表示：
 | (14) |
式中：PRE为预期分割的比例，是偶然期望的比例，按照如下方式计算：
 | (15) |
5.4 不同算法的对比 1) Bastrop复杂火灾数据集上的实验
为了验证本文提出的HCNN模型在异源传感器获得的遥感图像变化检测任务上的优秀表现，在Bastrop复杂火灾数据集上将其与使用广泛的变化检测算法进行了对比，包括传统和基于神经网络的算法：MAD+CVA[4]、KCCA+CVA[20]、DCCA+CVA[22]、DCCAE+CVA[23]、早期融合网络(Early-Fusion network，EF)[24]、伪孪生网络(Pseudo-Siamese network, PS)[15]。为了加快处理进程，以5个像素点作为提取步长，并利用投票机制来预测图像中所有像素点的标签。每个像素点的标签由其被覆盖的所有图像块在网络的输出按权重进行投票。具体的投票权重分布符合以该像素为中心的二维高斯分布，即某个像素离该像素点越近，则权重就更大。
利用上述算法在OA和Kappa系数指标下得到的针对Bastrop复杂火灾数据集的结果分别如表 1和图 7所示。这3组实验的变化检测任务对算法的挑战性是越来越大的，原因在于：L5T1 vs. L5T2实验中采用的是同一传感器在不同时刻所获取的图像对，图像对中所发生的变化主要是火灾的烧伤疤痕；L5T1 vs. ALIT2实验中采用的是不同传感器在不同时刻所获取的图像对，图像对中所发生的变化依然是火灾的烧伤疤痕，异源遥感图像增加了变化检测的困难程度；L5T1 vs. L8T2实验中不仅采用了不同传感器在不同时刻所获取的图像，而且图像中的变化除了火灾导致的烧伤疤痕以外，还涉及到自然因素导致的变化。从OA值和Kappa系数可以看出，实验指标在3组实验中整体上是逐渐降低的，但是笔者提出的HCNN模型都能达到最好的效果，充分证明了本文提出的网络结构的有效性。
表 1 Bastrop复杂火灾数据集的变化检测结果 Table 1 Change detection results on Bastrop complex fire dataset
| 算法 | OA/% | ||
| L5T1 vs.L5T2 | L5T1 vs.ALIT2 | L5T1 vs.L8T2 | |
| MAD+CVA | 87.233 | 79.991 | 77.075 |
| KCCA+CVA | 92.614 | 90.175 | 91.671 |
| DCCA+CVA | 95.556 | 94.676 | 93.943 |
| DCCAE+CVA | 96.598 | 95.713 | 94.308 |
| EF | 97.358 | 97.115 | 94.314 |
| PS | 98.382 | 98.136 | 94.526 |
| HCNN | 99.286 | 98.764 | 95.581 |
表选项
 |
| 图 7 Bastrop复杂火灾数据集的变化检测结果数据分析(Kappa系数) Fig. 7 Change detection result data analysis of Bastrop complex fire dataset (Kappa coefficient) |
| 图选项 |
图 8~图 10分别为在L5T1 vs. L5T2实验、L5T1 vs. ALIT2实验和L5T1 vs. L8T2实验中不同算法得到的变化检测结果，从直观上观察不同算法的效果(白色表示变化区域，黑色表示未变化区域)。
 |
| 图 8 L5T1 vs. L5T2实验中的变化检测结果 Fig. 8 Results of change detection in L5T1 vs. L5T2 experiment |
| 图选项 |
 |
| 图 9 L5T1 vs. ALIT2实验中的变化检测结果 Fig. 9 Results of change detection in L5T1 vs. ALIT2 experiment |
| 图选项 |
 |
| 图 10 L5T1 vs. L8T2实验中的变化检测结果 Fig. 10 Results of change detection in L5T1 vs. L8T2 experiment |
| 图选项 |
从3组实验的结果可以看出，2种传统算法MAD+CVA和KCCA+CVA在3组实验上的效果都较差，存在较多的虚检和漏检的像素点，并且虚检和漏检的情况也是越来越严重的，原因是：传统算法只能提取图像的低维特征，表征能力不强，无法准确地区分不同的变化，所以存在很多误检的情况；基于CNN的深度特征映射算法DCCA+CVA和DCCAE+CVA算法在前2组实验中效果一般，虚检和漏检的情况相对于传统的MAD+CVA和KCCA+CVA算法有了改善，然而在第3组实验中误检的情况仍然很严重，这是由于此类算法在特征映射时只考虑了图像的光谱特征，忽略了图像空间特征，在变化较难检测的第3组实验中没有达到较好的效果；基于CNN的分类算法EF和PS效果较好，通过提取图像块的空间特征，充分利用邻域信息，能够有效滤除噪声等干扰。
HCNN具备了EF和PS网络充分利用空间特征的优点，同时融合深度和低级的空间-光谱-时间特征，有利于提升网络的判别能力，通过优化本节设计的损失函数，在特征空间中，未变化的图像对特征差异更小，变化的图像特征差异更大，网络具有更强的区分能力，从而在3组实验中都能检测出最正确的变化区域。
2) Onera变化检测数据集上的实验
在Onera变化检测数据集上验证HCNN模型在同一传感器获得的遥感图像变化检测任务上也有不错的性能。
表 2和表 3分别展示了孪生网络(Siamese network, S)[13]、PS[15]、EF[24]及本节提出的HCNN模型在香港图像对和孟买图像对上的实验结果。图 11和图 12分别展示了上述算法在香港图像对和孟买图像对上得到的变化检测结果(白色表示变化区域，黑色表示未变化区域)。可以看出，检测得到的变化地图与地面真实情况大致相同，HCNN相比对图像空间特征进行利用的其他3种算法，融合深度和低级的空间-光谱-时间特征，同时本节设计的损失函数使得网络区分能力更强，可以看到，HCNN获得的结果图相比于其他结果图而言，漏检的变化像素较少。
表 2 在香港图像对上使用不同算法获得的变化检测定量结果 Table 2 Quantitative results of change detection obtained by different algorithms on Hong Kong image pairs
| 算法 | OA/% | AA/% | Kappa系数 |
| S | 96.542 | 68.511 | 0.424 |
| PS | 97.900 | 76.090 | 0.631 |
| EF | 97.134 | 74.943 | 0.598 |
| HCNN | 97.617 | 81.200 | 0.656 |
表选项
表 3 在孟买图像对上使用不同算法获得的变化检测定量结果 Table 3 Quantitative results of change detection obtained by different algorithms on Mumbai image pairs
| 算法 | OA/% | AA/% | Kappa系数 |
| S | 95.928 | 69.293 | 0.457 |
| PS | 96.325 | 80.217 | 0.635 |
| EF | 95.449 | 80.599 | 0.628 |
| HCNN | 97.293 | 82.583 | 0.673 |
表选项
 |
| 图 11 在香港图像对上使用不同算法获得的变化检测结果 Fig. 11 Change detection results on Hong Kong image pair obtained by different algorithms |
| 图选项 |
 |
| 图 12 在孟买图像对上使用不同算法获得的变化检测结果 Fig. 12 Change detection results on Mumbai image pair obtained by different algorithms |
| 图选项 |
5.5 3D卷积的影响 为了分析早期融合网络中使用2D卷积和3D卷积对检测精度的影响，在L5T1 vs. L8T2实验中，对EF网络与HCNN网络分别使用2D卷积和3D卷积进行运算，实验结果指标如表 4所示。可以看出，在EF网络和HCNN网络中使用3D卷积操作，检测精度更高，这是因为3D卷积能够提取图像块的光谱特征的局部信号变化，为后续的分类提供重要的判别信息。
表 4 L5T1 vs.L8T2实验中EF网络与HCNN网络使用2D卷积和3D卷积对检测精度的影响 Table 4 Effect of EF and HCNN networks with 2D convolution and 3D convolution on detection accuracy in L5T1 vs. L8T2 experiment
| 算法 | OA/% | Kappa系数 |
| EF(2D卷积) | 94.314 | 0.711 |
| EF(3D卷积) | 94.938 | 0.723 |
| HCNN(2D卷积) | 95.258 | 0.731 |
| HCNN(3D卷积) | 95.581 | 0.759 |
表选项
5.6 对比损失的影响 为了验证对比损失函数对网络训练的良性作用，对比了L5T1 vs. ALIT2实验中在PS网络与HCNN网络训练中是否添加额外的对比损失函数的变化检测结果指标，如表 5所示。总体而言，在PS网络和HCNN网络中添加了对比损失后，OA和Kappa系数值有所提高。这是因为：对比损失函数能够使得在特征空间中，未变化的图像对特征差异更小，变化的图像特征差异更大，有利于提升网络的区分能力。
表 5 L5T1 vs.ALIT2实验中PS网络与HCNN网络是否添加对比损失函数对检测精度的影响 Table 5 Effect of PS and HCNN networks with and without contrast loss function on detection accuracy in L5T1 vs. ALIT2 experiment
| 算法 | OA/% | Kappa系数 |
| PS(未添加对比损失函数) | 98.136 | 0.903 |
| HCNN(未添加对比损失函数) | 98.66 | 0.932 |
| PS(添加对比损失函数) | 98.356 | 0.917 |
| HCNN(添加对比损失函数) | 98.764 | 0.943 |
表选项
此外，对比损失函数会增加网络的收敛速度。如图 13所示，可以发现，在使用对比损失函数后，无论是PS网络还是HCNN网络，对比损失函数都更快地下降，网络的收敛速度有了较大的提升。
 |
| 图 13 PS网络与HCNN网络是否添加对比损失函数的二元交叉熵损失随着网络训练的变化曲线 Fig. 13 Binary cross entropy loss curves of PS and HCNN networks with and without contrast loss function binary in network training |
| 图选项 |
6 结论 1) 本文算法可实现较为优异的异源遥感图像变化检测性能，如在Bastrop复杂火灾数据集的实验中，所提出的HCNN算法的OA值在3组实验中分别达到99.286%、98.764%、95.581%，均高于其他的检测算法。
2) 本文算法在同传感器获取的遥感图像变化检测任务中也有非常好的效果，Onera变化检测数据集上的实验结果证明了这一点。
3) 3D卷积的使用可以更加有效地提取图像块光谱特征的局部信号变化，为后续的特征融合提供了重要的判别信息。
4) 设计的对比损失函数可以使得特征空间中未变化的图像对特征差异更小，变化的图像特征差异更大，提升了网络的区分能力和收敛速度。
参考文献
| [1] | ALBERGA V. Similarity measures of remotely sensed multi-sensor images for change detection applications[J]. Remote Sensing, 2009, 1(3): 122-143. DOI:10.3390/rs1030122 |
| [2] | FERNANDEZ-PRIETO D, MARCONCINI M. A novel partially supervised approach to targeted change detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(12): 5016-5038. DOI:10.1109/TGRS.2011.2154336 |
| [3] | LAI P L, FYFE C. Kernel and nonlinear canonical correlation analysis[J]. International Journal of Neural Systems, 2000, 10(5): 365-377. DOI:10.1142/S012906570000034X |
| [4] | VOLPI M, DE MORSIER F, CAMPS-VALLS G, et al. Multi-sensor change detection based on nonlinear canonical correlations[C]//2013 IEEE International Geoscience and Remote Sensing Symposium. Piscataway: IEEE Press, 2013: 1944-1947. |
| [5] | ZHU Z, WOODCOCK C E. Object-based cloud and cloud shadow detection in Landsat imagery[J]. Remote Sensing of Environment, 2012, 118: 83-94. DOI:10.1016/j.rse.2011.10.028 |
| [6] | JIAN M, LAM K, DONG J, et al. Visual-patch-attention-aware saliency detection[J]. IEEE Transactions on Systems, Man, and Cybernetics, 2015, 45(8): 1575-1586. |
| [7] | JIAN M, QI Q, DONG J, et al. Integrating QDWD with pattern distinctness and local contrast for underwater saliency detection[J]. Journal of Visual Communication and Image Representation, 2018, 53: 31-41. DOI:10.1016/j.jvcir.2018.03.008 |
| [8] | JIAN M, ZHANG W, YU H, et al. Saliency detection based on directional patches extraction and principal local color contrast[J]. Journal of Visual Communication and Image Representation, 2018, 57: 1-11. DOI:10.1016/j.jvcir.2018.10.008 |
| [9] | MERCIER G, MOSER G, SERPICO S B. Conditional copulas for change detection in heterogeneous remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(5): 1428-1441. DOI:10.1109/TGRS.2008.916476 |
| [10] | GAO F, LIU X, DONG J, et al. Change detection in SAR images based on deep Semi-NMF and SVD networks[J]. Remote Sensing, 2017, 9(5): 435. DOI:10.3390/rs9050435 |
| [11] | MOU L, BRUZZONE L, ZHU X X. Learning spectral-spatial-temporal features via a recurrent convolutional neural network for change detection in multispectral imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(2): 924-935. DOI:10.1109/TGRS.2018.2863224 |
| [12] | ZHANG P, GONG M, SU L, et al. Change detection based on deep feature representation and mapping transformation for multi-spatial-resolution remote sensing images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 116: 24-41. DOI:10.1016/j.isprsjprs.2016.02.013 |
| [13] | ZHANG Z, VOSSELMAN G, GERKE M, et al. Change detection between multimodal remote sensing data using Siamese CNN[EB/OL]. (2018-07-25)[2020-08-01]. https://arxiv.org/abs/1807.09562. |
| [14] | LIU J, GONG M, QIN K, et al. A deep convolutional coupling network for change detection based on heterogeneous optical and radar images[J]. IEEE Transactions on Neural Networks and Learning Systems, 2016, 29(3): 545-559. |
| [15] | HUGHES L H, SCHMITT M, MOU L, et al. Identifying corresponding patches in SAR and optical images with a pseudo-Siamese CNN[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(5): 784-788. DOI:10.1109/LGRS.2018.2799232 |
| [16] | NIU X, GONG M, ZHAN T, et al. A conditional adversarial network for change detection in heterogeneous images[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 16(1): 45-49. |
| [17] | HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780. DOI:10.1162/neco.1997.9.8.1735 |
| [18] | LI Y, ZHANG H, SHEN Q. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network[J]. Remote Sensing, 2017, 9(1): 67. DOI:10.3390/rs9010067 |
| [19] | CHOPRA S, HADSELL R, LECUN Y. Learning a similarity metric discriminatively, with application to face verification[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2005, 1: 539-546. |
| [20] | DAUDT R C, LE SAUX B, BOULCH A, et al. Urban change detection for multispectral earth observation using convolutional neural networks[C]//2018 IEEE International Geoscience and Remote Sensing Symposium. Piscataway: IEEE Press, 2018: 2115-2118. |
| [21] | VOLPI M, CAMPS-VALLS G, TUIA D. Spectral alignment of multi-temporal cross-sensor images with automated kernel canonical correlation analysis[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 107: 50-63. DOI:10.1016/j.isprsjprs.2015.02.005 |
| [22] | ANDREW G, ARORA R, BILMES J, et al. Deep canonical correlation analysis[C]//International Conference on International Conference on Machine Learning, 2013, 28: 1247-1255. |
| [23] | WANG W, ARORA R, LIVESCU K, et al. On deep multi-view representation learning[C]//International Conference on Machine Learning, 2015: 1083-1092. |
| [24] | ZAGORUYKO S, KOMODAKIS N. Learning to compare image patches via convolutional neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2015: 4353-4361. |
