针对机场区域的目标检测问题，国内外已经有了众多研究成果。其中针对机场检测，传统方法一般为先进行边缘检测然后结合相关算法提取出机场跑道的直线特征来检测跑道区域，进而定位出机场，其中提取跑道边缘直线特征的算法包括Hough变换[2]以及线段检测器(Line Segment Detector, LSD)等，这种方法检测速度快、计算量小但同时也存在一定的问题，比如形似物的干扰，如同样具有长直线特征的海岸线、河流、公路等。另一类方法是结合机场的显著性结构特征[3]的检测，即根据机场的显著性特征提取图像中的感兴趣区域，通常使用的方法为图像分割[4]，该类方法相比提取直线特征的方法在一定程度上提高了检测精确度，但是过多的滑动窗口冗余检测计算成本也是其一个缺点，使得检测效率很难得到保证，因此很难应用于实际检测任务中。众多****基于以上2类方法提出了相应的改进并取得了较好的效果，但基于传统的方法依旧存在人工设计特征的鲁棒性不足以及滑动窗口设计带来过多冗余计算使得检测效率较慢的问题。针对民航飞机的检测，传统的方法有基于特征学习以及分类学习的方法。Li等[5]结合视觉显著性和对称性特征的方法对民航飞机进行了检测。林煜东等[6]结合稀疏表示与飞机类目标几何形状得到飞机的几何部件再结合显著图进行民航飞机的检测。仇建斌等[7]结合角点以及边缘特征的方法进行了检测。An等[8]结合圆周频率滤波器进行候选区域定位并结合方向梯度直方图以及Adaboost算法对其进行检测。但基于几何特征学习的检测，较易受到边缘噪声以及形似物的干扰，基于分类学习的方法较为依赖特征设计。
随着深度学习的发展，近年来深度学习技术成为了各大领域的热门研究，基于深度学习的目标检测也愈发成熟，深度学习俨然已经成为了目标检测领域的“标配”。基于深度学习的机场区域检测方法也得到了越来越多的应用，并相对传统的检测方法在检测精确度以及效率方面有了很大的提升。Zhang等[9]用卷积神经网络(Convolutional Neural Network, CNN)提取图片特征并结合机场线性分布来进行较为有效的区域建议来对机场进行检测。Zhu等[10]使用残差神经网络(Residual Net, ResNet)进行特征提取并使用机场的显著图进行区域建议来对机场进行检测。Chen等[11]结合深度置信网络(Deep Belief Network, DBN)用于飞机检测。Wu等[12]采取BING+CNN的方法对飞机进行目标检测。上述方法应用了深度神经网络强大的特征提取能力，相比人工设计特征拥有更好的鲁棒性，从而大大提高了检测准确率，但依旧存在候选框过多使得检测效率偏慢的问题。针对以上问题，国内外提出了众多有贡献的改进算法，其中Faster R-CNN[13]是其中的一大代表检测框架，其区域建议网络(Regional Proposal Net，RPN) 的提出大大加快了检测效率，其中包含的各方面改进也使得检测效果达到了新高，其对多类目标强大的分类、定位能力以及较好的检测效率使得人们对其的关注度越来越高，并在此框架基础上根据自己的数据集做出相应的改进并取得了很好的效果。戴陈卡和李毅[14]将Faster R-CNN和多部件结合方法用于机场区域内飞机目标的检测，相较本文前述算法，较大地提高了检测性能且降低了时间成本，但由于数据集以及网络本身的限制，对小目标飞机检测不理想。朱明明等[15]在区域卷积神经网络的基础上应用特征融合和软判决的方式对机场区域内飞机目标的检测进行了改进，有效地提高了对小目标的检测率，并在一定程度上改善了遮挡问题。Chen等[16]通过合理增加锚框的尺度范围以及进行候选框中跑道区域的面积占比来进行候选区域的约束进行机场的检测，在一定程度上提高了机场的检测精度。但是众实验多是建立在对机场区域内单类目标的研究，如对机场或飞机目标的检测研究。对机场区域内多类目标检测的研究不足，且由于网络本身结构以及所用数据集本身的局限性使得检测精确率还有较大的提升空间。
以机场区域目标为检测对象，包括机场、民航飞机、战斗机、运输机、直升机、油罐以及桥梁目标；以卫星遥感图片为检测源，以深度学习下Faster R-CNN为检测框架，通过数据集对其进行调试并改进来完成对机场区域的目标检测。主要工作以及创新点如下：
1) 针对数据侧，提出ReMD数据增强算法，在不损失图像信息的前提下丰富检测对象的背景并使得模型可以更多地从局部了解目标相关信息。
2) 在网络的搭建中，加入更深的基础网络以及特征融合检测部件以提取更深层次的区分性鲁棒特征。
3) 针对检测对象的类间关联特性组合更优的新型末端检测器。
1 机场区域目标检测原理与改进 1.1 检测框架的搭建
1.1.1 检测原理 以尽可能地提高卫星遥感监测任务中目标的检准性以及检全性为出发点，应用Faster R-CNN为检测的基础框架，具体检测原理如图 1所示。
 |
| 图 1 机场区域目标检测示意图 Fig. 1 Schematic diagram of airport area target detection |
| 图选项 |
在遥感机场区域目标检测任务中，当待训练或检测的图片进入神经网络后，首先会进入特征提取网络(Feature Extraction Network)对其进行特征提取，特征提取网络由众多隐含层构成，主要以众多3×3×n卷积(Convolution)来对输入的图片进行特征提取，并借助池化(Pooling)操作来控制特征图的尺寸，方便后续计算，最后得到完整的全局特征图。然后，特征图进入区域建议网络将映射到原图，借助softmax分类器以及bounding box regression函数以及数据集中相应的标签信息来进行区域建议(Regional Proposal)，再经过非极大值抑制(Non-Maximum Suppression, NMS)算法减少可选候选框的数量并映射回特征图。其次，进入感兴趣池化(ROI Pooling)层进行感兴趣的建议区域池化，将其改变为固定尺寸，方便后续输入。最后进入全连接层(Full Connection)结合softmax分类器以及bounding box regression函数来实现目标的精确分类以及定位。最终生成遥感机场区域目标检测输出图，如图 1最终的输出图所示。
1.1.2 更好的特征提取以及融合网络 神经网络的深度对于模型性能的提升有着至关重要的作用，在ImageNet数据集[17]上获胜的网络大多都采用了更深的网络结构，比如ZFNet[18]、VGG-16[19]、VGG-19、GoogLeNet[20]等，以此也揭示了网络深度的重要性。然而得到性能提升的同时，也不可避免地带来了因单纯增加网络深度造成梯度消失/爆炸以及精确率饱和后下降的问题，在解决梯度问题时可以使用L1或L2正则化来得到部分程度的补偿，但是精确率饱和的问题却需要在单纯增加网络深度的基础上进行更具创新性的改进。针对此类问题，最具代表的解释为：图像具备有局部相关性，神经网络越来越深的时候，反传回来的梯度之间的相关性会越来越差，最后接近白噪声。ResNet网络[21]根据这一问题采用了“跳层连接”的方式，即把输入直接叠加到输出上，在反向传播的时候，这一路梯度是原封不动的往回传的，相关性很强，如图 2所示。
 |
| 图 2 “跳层连接”示意图 Fig. 2 Schematic diagram of "layer jump connection" |
| 图选项 |
假设图 2(a)经过2次卷积以及激活整形操作后的结果为F(x)，则H(x)=F(x)，H′(x)=F(x)+x，x为上一层的输出。由此可以看出ResNet在进行卷积层之间的运算时通过“跳层连接”将上一层的输出可以直接作用在下一层的输出之中，从而保留了临近层之间提取的图像局部相关性。
同时在进行特征提取的过程中，随着网络深度的增加，提取到的特征会有越来越大的差异，通常可以将其区分为低层特征和高层特征，低层特征的语义信息很弱，但是有较强的纹理信息，因而更适合用来定位；而高层特征可以提取到更为抽象的特征且含有更强的语义信息，因此更适合用来分类。针对研究目标中飞机类的目标而言，其在一幅图片中可能拥有较少的像素信息，因此随着网络深度的增加，最后提取到的高层特征将很难对目标进行有效的定位以及良好的分类。在此可以使用特征融合的方式来进行一定程度的改进。在具体实施的过程中，为了充分应用各层提取的特征，借鉴FPN[22]的思想，进行“top-down path”预测，即在进行多层特征融合预测的同时进行分层单独预测。
在进行特征融合方式设计时，为了获得更好的特征融合质量，尽量使得融合后的特征图有尽可能大的特征尺寸以及维度，因此在特征融合过程中将高层特征做2倍上采样，同时用1×1卷积仅改变上一层特征的维度与高层特征维度相同，然后使用“add”的方式将2层特征进行融合，加权时二者权重相同。同理将低层特征与融合后的特征进行融合，得到最终的融合特征(Predict-3)，同时3个特征(Predict-1~Predict-3)都进入特征检测网络，如图 3所示。
 |
| 图 3 FPN特征融合检测示意图 Fig. 3 Schematic diagram of FPN feature fusion detection |
| 图选项 |
1.2 数据集的准备 目前公用机场区域的卫星遥感图像数据集很少，这也是特定目标检测存在的一大难点，因为想要训练一个高效的检测网络，较为完备的数据集是其必要条件。已有文献[16]表明从高精度卫星检测软件获取的图片对目标检测具有很高的适应性以及泛化性，因此以Google Earth为自主获取包含目标信息图片的源，以VOC2007[23]为制作数据集的标准格式来进行数据集的制作。
制作的数据集共包含200多个不同的机场区域，共有7 264张原始图片，其中包含1 982张机场图片、1 838张民航飞机图片、565张战斗机图片、715张直升机图片、813张运输机图片、583张桥梁图片以及768张油罐图片。数据集示意如图 4所示。
 |
| 图 4 数据集示意图 Fig. 4 Schematic diagram of data set |
| 图选项 |
各目标对应标签信息如表 1所示。为了方便类别间的重组，将所有飞机类的标签统一添加“airplane_”前缀。其中，airplane_mh代表民航飞机，airplane_y代表运输机，airplane_z代表战斗机，airplane_zs代表直升机。
表 1 目标-标签对应表 Table 1 Object-label correspondence table
| 目标 | airport | civil airplane | transport plane | fighter | helicopter | bridge | oil tank |
| 标签 | airport | airplane_mh | airplane_y | airplane_z | airplane_zs | bridge | oil tank |
表选项
1.3 网络的改进
1.3.1 ReMD数据增强算法 数据增强，是指对有限的训练数据通过某种变换操作，从而生成新数据的过程。对于数据集较少时，数据增强技术可以起到非常重要的作用，其中对训练过程中的各类别数据不均衡问题也能起到一定的改善。
ReMD图像增强算法，即指随机擦除、区域填充以及逆向重组(Random erase+Mix+Double)相关联的算法。原理如下所示：
假设训练样本集为：X={x1, x2, …, xm}，xa、xb为其中的2个样本。
首先对xa样本进行随机擦除：选取一个需要擦除区域的边界框A=(ax, ay, aw, ah)，其中(ax, ay)是边界框的中心点坐标；(aw, ah)是边界框的几何特征，即其宽度和高度。
对擦除区域的边界框进行采样:
 | (1) |
式中：Wa为选取样本的宽度；Ha为选取样本的高度。
引入参数λ~U(0, 1)，使得
 | (2) |
确保擦除的区域与样本的关系为
 | (3) |
使得随机擦除的区域边界框始终在样本有效像素点内。
选取R∈{0, 1}Wa×Ha, 为随机擦除部分区域并进行区域填充而设定的二进制掩码。将二进制掩码中的擦除区域A取值为0，其他区域取值为1，即
 | (4) |
以完成二进制掩码的采样，然后生成所需的随机擦除结合区域填充后的对应新样本：
 | (5) |
式中：?为逐像素相乘；⊕为逐像素相加；I为所有元素为1的二进制掩码。
最后再进行逆向重组，即用相同的擦除区域边界框以及二进制掩码R来对样本xb进行随机擦除以及区域填充。同时，在混合图像过程中，当切割线穿过目标时，在合成图像的目标位置按照比例分配分类(Label)的结果，比如在一个矩形分类框的Label中民航飞机为0.6、运输机为0.4。效果如图 5所示。
 |
| 图 5 ReMD效果示意图 Fig. 5 Schematic diagram of ReMD effect |
| 图选项 |
应用该算法有如下优点：
1) 对随机擦除的区域中添加其他样本的信息，可以使得模型能够更多地从局部了解目标相关信息，提升模型定位的表现。
2) 丰富了检测物体的背景，因为原理类似图像组合，不会出现类似将2张图像“交叠”在一起时的混合后不自然的情形，同时保留了regional dropout的优势，能够提升模型分类的表现。
3) BN计算时相当于一次计算多张图片，提高单张图片的训练效率。经过逆向重组(见图 5)可知，该算法可以充分利用样本的每一个像素信息，同时训练和推理代价保持不变。
1.3.2 新型末端检测器 为了进一步提高关联性较强的飞机类目标中民航飞机、直升机、战斗机以及运输机的平均检测精度，降低类间误检率。提出在Faster R-CNN检测框架的末端检测区域，根据目标类别间的关联特性构建一个结合softmax分类器以及logistic regression的末端检测器，如图 6所示。
 |
| 图 6 新型末端检测器示意图 Fig. 6 Schematic diagram of new end detector |
| 图选项 |
在具体分类任务中，首先将各类待检测的目标分配类别号，如表 2所示。
表 2 目标-类别号对应表 Table 2 Object-number correspondence table
| 目标 标签 | airplane | airport airport | bridge bridge | oil tank oil tank | civil airplane airplane_mh |
| 类别号 | 1 | 2 | 3 | 4 | 5 |
| 目标 | transport plane | fighter | helicopter | background | |
| 标签 | airplane_y | airplane_z | airplane_zs | ||
| 类别号 | 6 | 7 | 8 | 0 |
表选项
表 2中airplane是一个相对大类，包含civil airplane、transport plane、fighter以及helicopter 4个小类。在各类目标的层次特征中，机场、飞机类、桥梁、油罐的特征区分度较大，如颜色、形状、纹理等，而飞机类目标中的特征区分度则相对较小，比如部分飞机类之间具有相似的形状、尺寸等，因此理论上机场、飞机类、桥梁、油罐之间存在互斥关系，而飞机类目标间则有较强的关联性。
softmax是多类目标分类器，在所有类别明显互斥的时候softmax分类器具有良好的分类性能，其分类机理如下：
如图 6所示，当候选特征区域进入FC_1后，会将输入信息转换为多个K×1维变量输出到softmax层，然后由其输出最终各类别的置信度，如下所示：
 | (6) |
式中：K=5，与设计中其所需预测的类别数相同；z[L]为FC_1的输出变量；a[L]为softmax层最终的输出变量。
logistic regression可以看作softmax回归在K=2时的特殊情况，已有研究[24]表明多个logistic regression在关联性较强的数据集中相比单独的softmax分类器有更好的分类性能，因此在识别民航飞机、运输机、战斗机以及直升机飞机类目标时，选择使用4个logistic regression来代替softmax分类器，在进行训练以及测试时，选择“一对其余”(One vs.Rest, OvR)的方式对分类任务进行拆分，即将识别4类飞机目标的任务拆分为4个二分类任务，在训练以及测试时，将每一类的样例作为正例，其余各类均为反例来训练，再对4个logistic regression分类器的预测结果进行集成输出。集成输出准则为：如有一个分类器预测为正，则输出该标签值，若有多个分类器预测为正，则考虑各个预测置信度，选择置信度最大的分类标签值作为输出结果。
2 实验配置 2.1 实验环境 CPU: Core i7-7700@3.60 GHz; RAM: 16.0 GB; Graphics Card: GTX 1080Ti@6 GB; Operating System: Ubuntu; Frame: Caffe。
2.2 训练设置 使用模型迁移学习方法，用imagenet_models对网络进行预训练，但由于两者数据集相似度不高，且由于实际限制所构建的数据集较小，所以仅保留了每个预训练模型的前置层数参数，其余各层参数服从均值为0，方差为0.01的高斯分布随机初始化，进行重新训练；初始学习率设置为0.001，动量设置为0.9，权重衰减设置为0.000 5；初始阈值设置为0.7；训练迭代轮次设置为8×104次；用随机数法按照训练集∶验证集∶测试集=7∶2∶1的比例进行数据集的随机分组。
3 针对搭建网络以及各改进部分的结果分析 3.1 ReMD数据增强算法结果分析 各数据增强算法都可能造成数据量成倍数增长，为了避免在数据增强过程中的爆炸性增长，训练时选择在每一个小批量(Mini-Batch)上执行相关数据增强算法，并使用GPU进行加速。实验结果如表 3所示。
表 3 各数据增强算法效果 Table 3 Effect of each data enhancement algorithm
| 数据增强算法 | 各算法使用情况 | |||||||
| Spin | √ | √ | √ | √ | √ | √ | √ | √ |
| Mirror | √ | √ | √ | √ | √ | √ | √ | |
| Scaling | √ | √ | √ | √ | √ | √ | ||
| Pan | √ | √ | √ | √ | √ | |||
| Brightness Change | √ | √ | √ | √ | ||||
| Crop | √ | √ | √ | |||||
| Gaussian Noise | √ | √ | ||||||
| ReMD(proposed) | √ | |||||||
| mAP/% | 68.9 | 69.4 | 69.8 | 69.9 | 70.4 | 71.1 | 71.3 | 72.6 |
表选项
其中旋转(Spin)操作是Faster R-CNN在训练过程中本身具有的数据增强方法，镜像(Mirror)、缩放(Scaling)、平移(Pan)、亮度变换(Brightness Change)、裁剪(Crop)、高斯加噪(Gaussian Noise)是常用且有效的已有数据增强算法，ReMD为本文的数据增强算法。在进行对比训练时均使用VGG-16基础网络。
从上述对比实验结果可以得到，对数据量较小的数据集进行数据增强有助于提高模型识别的准确率。其中对于常规且有效的数据增强算法，如旋转、镜像、缩放等可以使得模型学到更多的信息，如旋转、位移等不变性，对多个目标类别平均检测精确率(mAP)提供了一定程度的提升；其中ReMD(本文算法)通过对随机分对样本进行随机擦除后区域填充以及逆向重组的方式，丰富了检测物体的背景并使得模型可以更多地从局部了解目标的相关信息，同时保留了regional dropout的优势，实验结果表明该算法可以为模型带来1.3%的mAP提升，证明了ReMD数据增强算法的有效性。最后通过在送入神经网络的每一个小批次样本(Mini-Batch)中应用以上多种数据增强技术，模型的mAP提高了3.7%，有着较大的改善效果。
3.2 选用更好的基础网络以及进行特征融合后的检测结果分析 为了验证在Faster R-CNN中加入ResNet作为基础网络以及FPN作为检测部件的有效性，在高度一致的实验环境下，用自主标定好的数据集对其进行了对比实验测试，结果如表 4所示。
表 4 基础网络对比实验结果 Table 4 Comparison of experiment results of basic network
| 模型 | mAP/% | Average IOU |
| ZFNet | 58.4 | 0.392 |
| VGG_CNN_M_1024 | 63.5 | 0.425 |
| VGG-16 | 72.6 | 0.566 |
| VGG-19 | 73.9 | 0.571 |
| ResNet-50 | 74.1 | 0.572 |
| ResNet-101 | 75.8 | 0.574 |
| ResNet-50+FPN | 78.9 | 0.643 |
| ResNet-101+FPN | 80.2 | 0.645 |
表选项
其中：
 | (7) |
IOU代表测试集中网络预测出来的检测框与原图像中对应目标的真实标记框的重合程度。Average IOU即指测试集中所有图像的IOU的算术平均值。
实验结果表明：随着网络深度的增加，模型的mAP和Average IOU的提升将会越来越大，因为随着网络深度的增加，特征提取能力会越来越强，特征表达能力也会越来越好。其中VGG-16是深层网络的代表之一，相比仅有5层卷积层的ZFNet以及VGG_CNN_M_1024来看，对模型的性能已有了较大的提升，而ResNet网络因为其特有的“跳层连接”设计，使得深层网络模型性能的提升又迈出了一大步，ResNet-101相比VGG-16有了3.2%的mAP提升。而加入FPN检测部件后，通过有效的特征融合操作, 在ResNet-101基础上有了4.4%的mAP以及7.1%的Average IOU的提升，证明了加入FPN特征融合的有效性。
3.3 新型末端检测器检测结果分析 用T1代表Faster R-CNN进行本文数据增强以及应用ResNet-101基础网络和FPN检测部件后的网络，T2代表在T1的基础上应用该末端检测器后的网络。实验结果如表 5所示。
表 5 加入新型末端检测器前后对比实验结果 Table 5 Comparison of experiment results before and after adding the new end detector
| 网络 | AP/% | mAP/% | ||||||
| airport | bridge | oil tank | Civil airplane | Transport plane | fighter | helicopter | ||
| T1 | 89.7 | 75.8 | 76.9 | 89.6 | 78.5 | 72.0 | 78.9 | 80.2 |
| T2 | 89.8 | 75.9 | 76.9 | 90.1 | 79.1 | 72.6 | 79.4 | 80.5 |
表选项
从测试结果得到，所构建的新型检测框架应用于前述Faster R-CNN框架后，对于机场区域的飞机类目标的检测精确率提高了0.5%左右，对于机场区域各类目标的多类平均检测精度提高了0.3%左右，原因在于通过新增全连接层以及后续的多logistic regression配合原网络的softmax分类器，使得模型检测时可以结合具体所检测目标间的特性组合更优的分类器。对于该实验结果也证明了该方法对模型的检测产生了有益的影响。
3.4 针对各算法以及检测部件对网络带来的检测时间成本分析 通过控制变量法，在相同实验环境下进行多次实验，结果如表 6所示。其中N1代表细分网络，则表格中“N1”表示仅在进行ReMD数据增强的Faster R-CNN上加入N1，“N2”表示网络在进行ReMD数据增强以及加入ResNet-101和FPN的基础上加入N1。检测时间增量为Δt，全部数据保留小数点后3位。
表 6 各检测部件与所带来的时间成本 Table 6 Summary of each testing component and time cost
| Faster R-CNN网络及增加的部件 | 原网络 | ReMD | ResNet-101 | FPN | N2 | N1 |
| 检测时间/s | 0.215 | 0.215 | 0.483 | 0.510 | 0.512 | 0.217 |
| Δt/s | 0 | 0 | 0.268 | 0.027 | 0.002 | 0.002 |
表选项
通过表 6可知，ReMD数据增强算法并未带来额外的检测时间成本，因为该操作生效在训练时的线上增强过程中，而并未参与到检测框架之中；造成检测时间成本较大增加的为引入了更深的ResNet-101基础网络，该操作增加了0.268 s的检测耗时，而建立在其上的FPN特征融合部件以及新型末端检测器分别仅带来了0.027 s以及0.002 s的检测耗时，主要因为ResNet-101网络所增加的用于深层次特征提取的网络层数以及参数大大多于FPN以及新型末端检测器所增加的额外参数。
4 可视化检测结果示例以及对比试验 4.1 检测结果示例 本文所改进后的模型检测示例如图 7所示。
 |
| 图 7 机场区域目标检测效果示意图 Fig. 7 Schematic diagram of object detection effect in airport area |
| 图选项 |
4.2 对比实验分析 在相同的实验环境下，针对相同的数据集进行对比实验，实验结果如表 7所示。相关图示如图 8所示。
表 7 不同检测网络间的对比实验结果 Table 7 Comparison of experiment results between different detection networks
| 算法 | mAP/% | 检测时间/s |
| R-CNN | 54.2 | ＞10.000 |
| SPP-Net | 54.9 | 0.401 |
| Faster R-CNN | 68.9 | 0.215 |
| HyperNet | 72.0 | 0.160 |
| R-FCN | 75.2 | 0.167 |
| YOLOv3 | 76.3 | 0.122 |
| SSD | 73.9 | 0.165 |
| Ref.[30] | 80.2 | 0.602 |
| Ref.[16] | 70.3 | 0.215 |
| proposed | 80.5 | 0.512 |
| proposed* | 77.3 | 0.173 |
| 注：proposed*表示将RPN末端生成的proposal数量减少到50(原设为300)。 | ||
表选项
 |
| 图 8 对比实验结果示意图 Fig. 8 Schematic diagram of comparative experiment results |
| 图选项 |
其中图 8(a)展示了各算法在本文数据集下的mAP对比效果；图 8(b)展示了各算法的检测时间对比效果。通过对比实验，可以发现本文网络相比目前主流的目标检测算法R-CNN[25]、SPP-Net[26]、Faster R-CNN、HyperNet[27]、R-FCN[28]、YOLOv3[24]、SSD[29]，以及性能较好的复合式网络Faster R-CNN+InceptionResNetv2+TDM[30]和Faster R-CNN++[16], 在mAP方面取得了更好的效果，mAP达到了80.5%，相比Faster R-CNN总体提高了11.6%，比同样具有较高检测率的YOLOv3提高了4.2%, 比文献[30]提高了0.3%。但是，由于应用了更深的特征提取网络ResNet-101、FPN检测部件以及在末端检测器加入新的全连接层，使得相比Faster R-CNN增加了一倍多的时间成本，检测时间达到0.512 s，虽依旧比文献[30]快0.09 s，检测速度却不到YOLOv3的1/4，这也是本文网络存在的一个缺陷。经过实验发现，当proposal减小到50时(原设为300)，网络降低了3.2%的mAP，但是检测时间却缩短至原本的1/3左右(0.173 s)，且此时依旧有较好的mAP。在这里proposal指的是RPN末端生成的region proposal经过越界剔除以及NMS抑制后保留的前N个proposal(下一步将进入ROI池化层，如图 1所示)，而在网络中进行更改时是比较容易进行的。因此在具体应用中可以根据检测精确率和检测速度的权重进行再设定，寻优最适合任务的方法。
5 结论 1) ReMD数据增强算法为模型带来了1.3%的mAP提升，相比部分经典算法平均对mAP有0.4%的提升，证明了ReMD数据增强算法的有效性，同时综合多种数据增强技术，实验结果表明，对模型的mAP提高了3.7%，起到了一定的改善作用。
2) ResNet-101网络以及特征融合检测部件FPN的加入，使得模型可以提取到更鲁棒的特征，相比原检测框架(Faster R-CNN+VGG-16)提高了7.6%的mAP以及7.9%的Average IOU，对模型的精确分类以及准确定位有了较大的提升。
3) 新型末端检测器通过对各类目标进行更优的组合检测分配，使得模型的mAP提高了0.3%并使得飞机类目标的mAP提高了约0.5%，在目标精确分类方面起到了一定作用。
4) 与其他部分主流检测网络进行实验对比，本文网络在检测精确率上均取得了较高的效果，但是检测时间却相比原Faster R-CNN检测框架增加了0.297 s，同时通过减少proposal至50时可以在降低一定精确率的前提下提速3倍，且此时检测精确率依旧高于其他部分主流检测网络。在具体任务中可以权衡精度以及速度来选择更适合的方法。
通过实验验证了本文方法的有效性，对该类任务有较强的实用价值。在下一步工作中，将着眼于扩充数据集的容量以及进一步提高网络的检测性能。
参考文献
| [1] | RICHARDS J R. Remote sensing digital image analisis[M]. Berlin: Springer, 1999: 20-21. |
| [2] | 杨四海, 陈锻生, 谢维波. Hough变换的特性分析: 一种全局观点[J]. 计算机辅助设计与图形学学报, 2006, 18(8): 1197-1204. YANG S H, CHEN D S, XIE W B. Characteristics of hough transform: A global view[J]. Journal of Computer-Aided Design & Computer Graphics, 2006, 18(8): 1197-1204. DOI:10.3321/j.issn:1003-9775.2006.08.020 (in Chinese) |
| [3] | 梁浩然. 自然图像的视觉显著性特征分析与检测方法及其应用研究[D]. 杭州: 浙江工业大学, 2016: 16-17. LIANG H R. Research on saliency detection of natural image and its application[D]. Hangzhou: Zhejiang University of Technology, 2016: 16-17(in Chinese). |
| [4] | CHEN L C, PAPANDREOU G, KOKKINOS I, et al. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848. DOI:10.1109/TPAMI.2017.2699184 |
| [5] | LI W, XIANG S M, WANG H B, et al. Robust airplane detection in satellite images[C]//2011 18th IEEE International Conference on Image Processing. Piscataway: IEEE Press, 2011: 2821-2824. |
| [6] | 林煜东, 和红杰, 尹忠科, 等. 基于稀疏表示的可见光遥感图像飞机检测算法[J]. 光子学报, 2014, 43(9): 196-201. LIN Y D, HE H J, YIN Z K, et al. Airplane detection in optical remote sensing image based on sparse-representation[J]. Acta Photonica Sinica, 2014, 43(9): 196-201. (in Chinese) |
| [7] | 仇建斌, 李士进, 王玮. 角点与边缘信息相结合的遥感图像飞机检测新方法[J]. 微电子学与计算机, 2011, 28(9): 214-216. QIU J B, LI S J, WANG W. A new approach to detect aircrafts in remote sensing images based on corner and edge information fusion[J]. Microelectronics & Computer, 2011, 28(9): 214-216. (in Chinese) |
| [8] | AN Z Y, SHI Z W, TENG X C, et al. An automated airplane detection system for large panchromatic image with high spatial resolution[J]. Optik, 2014, 125(12): 2768-2775. DOI:10.1016/j.ijleo.2013.12.003 |
| [9] | ZHANG P, NIU X, DOU Y, et al. Airport detection on optical satellite images using deep convolutional neural networks[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(8): 1183-1187. DOI:10.1109/LGRS.2017.2673118 |
| [10] | ZHU T H, LI Y H, YE Q K, et al. Integrating saliency and ResNet for airport detection in large-size remote sensing images[C]//20172nd International Conference on Image, Vision and Computing (ICIVC). Piscataway: IEEE Press, 2017: 20-25. |
| [11] | CHEN X Y, XIANG S M, LIU C L, et al. Aircraft detection by deep belief nets[C]//20132nd IAPR Asian Conference on Pattern Recognition. Piscataway: IEEE Press, 2013: 54-58. |
| [12] | WU H, ZHANG H, ZHANG J F, et al. Fast aircraft detection in satellite images based on convolutional neural networks[C]//2015 IEEE International Conference on Image Processing (ICIP). Piscataway: IEEE Press, 2015: 4210-4214. |
| [13] | REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. DOI:10.1109/TPAMI.2016.2577031 |
| [14] | 戴陈卡, 李毅. 基于Faster RCNN以及多部件结合的机场场面静态飞机检测[J]. 计算机应用, 2017, 37(S2): 85-88. DAI C K, LI Y. Aeroplane detection in static aerodrome based on Faster RCNN and multi-part model[J]. Journal of Computer Applications, 2017, 37(S2): 85-88. (in Chinese) |
| [15] | 朱明明, 许悦雷, 马时平, 等. 基于特征融合与软判决的遥感图像飞机检测[J]. 光学学报, 2019, 39(2): 71-77. ZHU M M, XU Y L, MA S P, et al. Airplane detection based on feature fusion and soft decision in remote sensing images[J]. Acta Optica Sinica, 2019, 39(2): 71-77. (in Chinese) |
| [16] | CHEN F, REN R L, VAN DE VOORDE T, et al. Fast automatic airport detection in remote sensing images using convolutional neural networks[J]. Remote Sensing, 2018, 10(3): 443. DOI:10.3390/rs10030443 |
| [17] | RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211-252. DOI:10.1007/s11263-015-0816-y |
| [18] | ZEILER M D, FERGUS R. Visualizing and understanding convolutional networks[M]//Computer Vision-ECCV 2014. Berlin: Springer, 2014: 818-833. |
| [19] | SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]//Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2014: 121-124. |
| [20] | SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2015: 1-9. |
| [21] | HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2016: 770-778. |
| [22] | LIN T Y, DOLLáR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2017: 936-944. |
| [23] | EVERINGHAM M, GOOL L, WILLIAMS C K I, et al. The pascal visual object classes (VOC) challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303-338. DOI:10.1007/s11263-009-0275-4 |
| [24] | REDMON J, FARHADI A. YOLOv3: An incremental improvement[EB/OL]. (2018-04-08)[2019-07-18]. https://arxiv.org/abs/1804.02767. |
| [25] | GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2014: 580-587. |
| [26] | HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916. DOI:10.1109/TPAMI.2015.2389824 |
| [27] | KONG T, YAO A B, CHEN Y R, et al. HyperNet: Towards accurate region proposal generation and joint object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE Press, 2016: 845-853. |
| [28] | DAI J F, LI Y, HE K M, et al. R-FCN: Object detection via region-based fully convolutional networks[C]//Neural Information Processing Systems. Piscataway: IEEE Press, 2016: 379-387. |
| [29] | LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single shot MultiBox detector[J]. Berlin: Springer, 2016, 21-37. |
| [30] | SHRIVASTAVA A, SUKTHANKAR R, MALIK J, et al. Beyond skip connections: Top-down modulation for object detection[C]//Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2016: 256-266. |
