, 王伟胜1, 陈桃1,2, 黄双燕1,2 1. 中国科学院新疆生态与地理研究所, 乌鲁木齐 830011;
2. 中国科学院大学, 北京 100049
2019年2月26日 收稿; 2019年5月20日 收修改稿
基金项目: 国家重点研发计划项目（2017YFB0504204）资助
通信作者: 杨辽, E-mail: yangliao@ms.xjb.ac.cn
摘要: 当前，基于时序特征提取的农作物遥感分类方法需要较多先验知识及人工干预，难以自动化，且易因忽略部分有效特征而导致精度降低。针对这些问题，提出基于时序光谱重构的卷积神经网络农作物分类法。为充分利用时间序列多光谱中丰富的作物物候与多光谱信息，对每个地面像元构造以时间维为纵轴、光谱维为横轴的时序光谱图，采用Adam梯度下降法与Dropout 40%连接率优化后的卷积神经网络对时序光谱图进行分类。对比实验结果表明，该方法可有效减少“椒盐”噪声的产生，且地块边界轮廓线清晰，总体分类精度达到95.12%，高于时间序列多光谱+随机森林（88.58%）、时间序列NDVI+随机森林（90.25%）、时间序列NDVI+卷积神经网络（91.79%）等对照实验组；对于“异物同谱”现象明显的春玉米与番茄，该方法的F1-score分别达到95.9%与89.9%，相比各对照组均有较大幅度的提高。该研究结果可为遥感农作物的自动化精细制图提供参考。
关键词: 农作物分类卷积神经网络遥感Sentinel-2A时间序列特征提取
CNN remote sensing crop classification based on time series spectral reconstruction
FENG Qixin1,2, YANG Liao1
, WANG Weisheng1, CHEN Tao1,2, HUANG Shuangyan1,2 1. Xinjiang Institute of Ecology and Geography, Chinese Academy of Sciences, Urumqi 830011, China;
2. University of Chinese Academy of Sciences, Beijing 100049, China
Abstract: At the present, the crop classification method based on time series feature extraction needs much prior knowledge and manual intervention. It is difficult to automate the classification and it is easy to reduce the accuracy due to neglecting some effective features. We propose a convolutional neural network crop classification method based on time series spectral reconstruction. The method constructs a time-series image for every ground pixel, with the time dimension as the vertical axis and the spectral dimension as the horizontal axis, and then uses CNN, optimized by using the Adam gradient descent method and 40% connection rate dropout, to classify the time-series images. The experimental results show that the method reduces the salt-and-pepper noise, and the boundary of the plot is clear. The overall classification accuracy reaches 95.12%, which is higher than those of the time series multispectral + random forest method(88.58%), time-series NDVI + random forest method(90.25%), and time-series NDVI + convolutional neural network method(91.79%). For spring corn and tomato with close spectral similarity, the F1-scores of our method reach 95.9% and 89.9% respectively, which are significantly improved compared with the control groups. The results of this study provide useful information for the automatic and fine mapping of croplands.
Keywords: crop classificationconvolutional neural networkremote sensingSentinel-2Atime seriesfeature extraction
精准农业是世界各国农业现代化的共同选择[1-2]，及时、准确地对农作物进行分类与制图，获取农作物种植结构和类型分布信息，可为国家宏观调控农作物种植结构、估计农作物产量、制定粮食政策等提供重要的数据参考[3-4]。遥感是一种对地综合性观测技术，能对地表进行大尺度的动态观测，相比传统基于人工调查的作物分类方法，可节省大量人力物力，是目前进行农作物种植结构调查的主要方法[5-8]。
根据遥感影像时相数的不同，遥感农作物分类方法可分为以下两种：1)基于单期影像的快速分类法。该方法通过选取一期农作物光谱特征差异最为明显的“关键物候期”影像来实现农作物的快速分类[9]。如刘佳等[10]在综合考虑作物的生长发育时期后，选择2014年7月27日的一期RapidEye数据，进行短波红外波段对玉米和大豆分类精度影响的试验，结果表明，短波红外波段的引入能显著提高玉米和大豆的分离能力；Chauhan和Mohan[11]以位于印度中西部的罗那镇为研究区，采用EO-1高光谱数据，提取研究区内的小麦、高粱与鹰嘴豆等作物。单期影像分类法虽然能实现农作物的快速解译，但由于实际应用中作物类型复杂多样，单期遥感影像中作物的“异物同谱”现象明显，分类结果往往存在缺陷[12]。2)时间序列分类法。时间序列数据中包含丰富的农作物光谱与光谱变化信息，利用这些信息进行农作物分类的精度一般高于单期影像分类法[7, 12-13]，但由于时间序列数据具有较高的数据维度，数据之间存在较高的相关性与数据冗余，不利于常用遥感分类算法直接进行分类[14-15]，因此，研究者们一般先从时间序列数据中提取相关特征，再利用这些特征进行分类。归一化植被指数(normalized differential vegetation index, NDVI)是时间序列分类法中应用最多的特征[16-17]，常以决策树(decision tree, DT)、支持向量机(support vector machine, SVM)、随机森林(random forest, RF)等机器学习算法为组合来进行分类。郭昱杉等[18]应用该方法，提取黄河三角洲地区的主要农作物；Belgiu和Csillik[19]以Sentinel-2 A的时间序列NDVI为特征，提取多种农作物的种植结构信息。基于特征提取的时间序列分类法是进行遥感农作物分类的有效方法，但特征提取仍然需要丰富而全面的专家知识，否则容易忽略相关的有效特征[9, 13, 20-21]，同时，特征提取过程中涉及复杂的数据重建工作，不利于农作物遥感的快速与自动化分类[21]。
卷积神经网络是深度学习方法中的一种，它的主要结构单元包括卷积层与全连接层，卷积层的局部连接与参数共享结构可自动从图像中提取特征[22]，相比基于人工提取的特征更加深层[16, 23]，且鲁棒性更好[24]，可避免人工特征提取过程中相关特征的丢失以及复杂的数据重建；全连接层在卷积神经网络中是完成具体分类的模块，它能基于卷积层所提取的特征完成高精度的图片分类。2012年ImageNet图像分类大赛中，AlexNet卷积神经网络模型[25]取得冠军，将top-5错误率从25%降低至17%，之后相继提出的GoogleNet、VGGNet、ResNet、SE-Net等网络模型通过对卷积神经网络的改进[26]，不断刷新ImageNet图像分类的精度，目前错误率已经降到2.25%。鉴于卷积神经网络具有自动提取特征与高精度图像分类与识别的能力，许多遥感领域的****展开了基于卷积神经网络的遥感图像分类与识别研究。Xu等[27]采用具有双卷积结构的卷积神经网络分别从高光谱与雷达数据中自动提取光谱与空间特征，然后利用卷积网络的全连接结构进行分类，在Houston与Trento数据集中分别达到87.98%与97.92%的总体精度。Ma等[20]采用跳跃型卷积神经网络分别对Indian Pines，Pavia center和Salinas 3个数据集进行土地利用类型的分类，各数据集总体精度均高于以往的研究。
然而，以上基于卷积神经网络的遥感研究多集中在特定目标识别与土地利用类型的提取，针对时间序列多光谱数据的农作物遥感分类方法的研究较少。因此，本文针对单时相农作物分类法难以满足精度要求，传统的时间序列分类法面临手动提取特征等问题，考虑到卷积神经网络的自动特征提取与分类优势，采取卷积神经网络分类方法，以新疆沙湾县为实验区，开展基于时间序列多光谱的农作物遥感分类研究。
1 实验区概况与数据1.1 实验区概况沙湾县(84°57′E~86°09′E, 43°29′N°~45°20′N)位于新疆伊犁哈萨克自治州的塔城地区，面积约1.31万km2，南连天山，北接古尔班通古特沙漠，年平均气温6.3~6.9 ℃，年降水140~350 mm，年蒸发量1 500~2 000 mm，日内温差大，气候干燥，是典型的温带大陆性干旱气候。沙湾县境内共有6条河流，其中有5条发源于其南部的天山山脉，是全县主要的农业灌溉水源。该区耕地主要分布在北部的冲积平原区、中部的洪积冲积扇区和南部的山前丘陵区，作物种植类型包括棉花、小麦、玉米、番茄等，是新疆农业大县之一。
1.2 数据获取从欧空局(https://scihub.copernicus.eu/)获得沙湾县2016年4—10月期间6期(31景)Sentinel-2A遥感数据。Sentinel-2A是欧空局于2015年6月23日发射的一颗重访周期为10 d的卫星，其携带的多光谱成像仪共覆盖13个波段，除可见光及近红外、短波红外等常用波段外，还包括3个对植被生长与变化敏感的红边波段(表 1)，可为遥感农作物分类提供更为丰富的农作物生长状态信息[28]。样本数据是2016年用手持GPS在野外实地调查的数据，共169个采样地块(图 1)。其中包括91个地块作为分类的训练样本，含27块棉花地、15块冬小麦地、13块春小麦地、14块春玉米地、12块番茄地以及10个其他类型; 78个地块作为验证样本用于后期精度检验，含23块棉花地、13块冬小麦地、12块春小麦地、11块春玉米地、10块番茄地以及9个其他类型。
Fig. 1
 | Download: JPG larger image |
| 图 1 实验区及实地调查样本分布 Fig. 1 Experimental area and distribution of field investigation samples 图 1 实验区及实地调查样本分布 Fig. 1 Experimental area and distribution of field investigation samples --> | |
Table 1
 表 1 Sentinel-2A波段信息Table 1 Band information of Sentinel-2A
| 表 1 Sentinel-2A波段信息Table 1 Band information of Sentinel-2A |
1.3 数据预处理采用欧空局提供的SNAP(sentinel application platform，版本5.0)软件中的Sen2Cor、Sen2Three、Mosaicking等模块对原始的31景SAFE格式Sentinel-2A数据分别进行大气校正、去云与拼接镶嵌等处理，得到6期可反映研究区主要农作物生长变化的时间序列多光谱数据(表 2)。本文选择Sentinel-2A数据的红、绿、蓝、红边、近红外、短波红外等波段进行农作物的分类，由于蓝、绿、红、第二近红外等波段分辨率为10 m，其他波段分辨率为20 m，为对分辨率进行统一，采用最邻近法将各20 m分辨率的波段重采样至10 m[29-30]。
Table 2
表 2 影像日期与实验区主要农作物物候Table 2 Imaging dates and phonological phases of the main corns in experimental area
| 表 2 影像日期与实验区主要农作物物候Table 2 Imaging dates and phonological phases of the main corns in experimental area | |||||||||||||||||||||||||||||||||||||||||||||||
2 研究方法2.1 时序光谱图构建时间序列多光谱数据具有时间与光谱两个维度的特征，为让卷积神经网络充分利用这些特征信息，对时间序列多光谱进行时序光谱重构。具体构建过程如下：图 2(a)为具有n期遥感影像的时间序列数据集，p1、p2、p3、…、pn分别为各期遥感影像在i行、j列的影像像元，它们的集合P称为时间序列数据集在i行、j列的像元基元。其中p1在各波段的反射率分别为p11、p12、…、p1m，p2在各波段的反射率分别为p21、p22、…、p2m，…，pn在各波段的反射率分别为pn1、pn2、…、pnm，在图 2(b)中，以时间维为纵轴，光谱维为横轴，对各像元在各波段的反射率值进行重组，得到一张具有n行m列的图片，此图被称为像元基元P的时序光谱图(time series multispectral image，TSMI)。
Fig. 2
 | Download: JPG larger image |
| 图 2 基于像元基元的时序光谱图构建及样本中各农作物的时序光谱图 Fig. 2 TSMI construction based on pixel elements and TSMIs of crops in sample 图 2 基于像元基元的时序光谱图构建及样本中各农作物的时序光谱图 Fig. 2 TSMI construction based on pixel elements and TSMIs of crops in sample --> | |
本研究中的时序光谱图的尺寸大小为6×10，从上至下分别是04-22、05-22、06-11、08-10、09-19、10-09等6个时间维度，从左至右分别为蓝波段、绿波段、红波段、3个红边波段、2个近红外波段、2个短波红外波段等10个光谱维度。图 2(c)为样本中各作物类型的时序光谱图，其表现为同种农作物的时序光谱图具有较高相似度，不同种农作物的时序光谱图差异明显。
2.2 CNN模型构建以Anaconda软件下的Python3.6为编译环境，采用TensorFlow深度学习框架，基于GPU+CPU的硬件平台搭建卷积神经网络。卷积神经网络的输入数据为6×10的时序光谱图，由于图片尺寸较小，过深层的复杂卷积网络结构在本研究中并不适用[31]。基于该原因，本文搭建了更适用于时序光谱图分类的轻量级卷积神经网络。该网络中，除输入层(input layer)与输出层(output layer)，共包括2个卷积层(convolution layer)、1个池化层(pooling layer)与1个全连接层(full connection layer)。第1卷积层先从时序光谱图中提取8个维度的特征，第2卷积层在第1卷积层的基础上再提取16个维度的特征，经最大池化，全连接层基于16维度的特征对时序光谱图进行分类。
2.3 CNN模型优化2.3.1 梯度下降法优化为加强CNN模型在本研究中的适用性，需结合本研究数据对卷积神经网络进行优化。梯度下降法是常用的神经网络优化算法，本文分别采用Momentum、AdaGrad、Adam、RMSProp等常用梯度下降法对数据进行训练，如图 3(a)所示。在模型趋于稳定后，基于Adam梯度下降的卷积神经网络在保持更小波动的同时，可达到更高精度，因此本研究采用Adam作为卷积神经网络的梯度下降优化算法。
Fig. 3
 | Download: JPG larger image |
| 图 3 CNN模型优化 Fig. 3 Optimization of CNN 图 3 CNN模型优化 Fig. 3 Optimization of CNN --> | |
2.3.2 Dropout优化在神经网络的训练过程中，Dropout可通过随机屏蔽部分神经元，只允许部分神经元参与神经元连接来降低网络复杂度，具有提高模型泛化能力的功能[32-33]。为寻求最适合于本文的最佳Dropout神经元连接比例参数，本研究分别采用不同的连接比例参数对数据进行了训练，如图 3(b)所示。40%的Dropout连接比例参数在保持精度上升曲线稳定的同时，可达到更高精度，因此采用40%的连接比例参数对卷积神经网络进行Dropout优化。
2.4 评价方法本文采用多个指标对模型及其分类结果进行评价，包括总体精度(overall accuracy, OA)、Kappa系数(Kappa coefficient, KC)、F1-score、制图精度(mapping accuracy, MA)、用户精度(user accuracy, UA)。其中，总体精度与Kappa系数是衡量分类方法总体性能的精度指标；F1-score、制图精度与用户精度是检验各农作物分类精度的指标。Kappa系数是一种一致性评估方法，在类别不均衡的情况下更能反映实际分类精度。制图精度与用户精度可从不同的角度反映各农作物分类精度，若某作物的制图精度较低，说明该作物容易被分为其他类型；若某农作物的用户精度较低，说明有较多其他类型作物被错分为该作物。F1-score精度是制图精度与用户精度的综合性指标，可更全面地反映各农作物的分类精度。以上各分类评价指标的计算公式如下:
| ${\rm{OA}} = \left( {\sum_i^n {{t_i}} /V} \right) \times 100\% , $ | (1) |
| ${\rm{KC}} = \frac{{V\sum_i^n {{t_i}} - \sum_i^n {\left( {{t_i}{v_i}} \right)} }}{{{V^2} - \sum_i^n {\left( {{t_i}{v_i}} \right)} }}{\rm{, }}$ | (2) |
| ${\rm{MA}} = \left( {{t_i}/{v_i}} \right) \times 100\% , $ | (3) |
| ${\rm{UA}} = \left( {{t_i}/{m_i}} \right) \times 100\% , $ | (4) |
| ${F_1} = \frac{{2{\rm{M}}{{\rm{A}}_i} \times {\rm{U}}{{\rm{A}}_i}}}{{{\rm{M}}{{\rm{A}}_i} + {\rm{U}}{{\rm{A}}_i}}} \times 100\% .$ | (5) |
为进一步评价与比较本研究中基于时间序列光谱图的卷积神经网络分类法(TSMI+CNN)在分类精度上的表现，采用时间序列NDVI、时间序列多光谱、随机森林算法与卷积神经网络，建立了3个对照组，分别为：基于时间序列多光谱数据的随机森林分类(TSM+RF)；基于时间序列NDVI数据的随机森林分类(TSNDVI+RF)；基于时间序列NDVI数据的卷积神经网络分类(TSNDVI+CNN)。其中，NDVI的计算公式为
| ${\rm{NDVI}} = \left( {{\rho _{{\rm{NIR}}}} - {\rho _{\rm{R}}}} \right)/\left( {{\rho _{{\rm{NIR}}}} + {\rho _{\rm{R}}}} \right), $ | (6) |
3 结果与分析3.1 精度对比分析3.1.1 总体精度对比分析如表 3所示，在所有的分类组中，TSMI+CNN分类法的总体精度与Kappa系数均最高，总体精度达到95.12%，相比TSM+RF、TSNDVI+RF、TSNDVI+CNN等对照组的88.58%、90.25%、91.79%，分别提高6.54%、4.87%、3.33%；Kappa系数达到0.940 5，相比各对照组的0.881 9、0.862 1、0.900 4，分别提升0.058 6、0.078 4、0.040 1，结果表明TSMI+CNN的分类法不仅可有效提高农作物分类精度，其分类一致性也最好，有利于小样本作物的分类。时序光谱图在纵向上包含作物的生长物候信息、横向上包含各物候期农作物的多光谱信息，借鉴卷积神经网络的高精度图片识别能力，TSMI+CNN分类法基于时序光谱图与卷积神经网络完成了高精度的农作物分类。
Table 3
表 3 总体分类精度Table 3 Overall classification accuracy statistics
| 表 3 总体分类精度Table 3 Overall classification accuracy statistics |
TSM+RF与TSMI+CNN分类法均基于时间序列多光谱进行了分类，然而，TSMI+CNN分类法的总体精度比TSM+RF分类法高6.54%，有较大的精度优势，表明对于高维度的时间序列多光谱，TSMI+CNN分类法的数据拟合能力优于TSM+RF分类法。随机森林等传统机器学习算法只能根据分类对象的具体属性值来区分目标，属于一维“线”状的识别；卷积神经网络是一种模拟动物视觉神经系统设计的人工神经网络，对目标具有“面”状的把握能力，可更全面地考虑分类目标的各个特征要素，完成更高精度的图片识别。
TSNDVI+RF与TSNDVI+CNN对照组虽然分别取得90.25%与91.79%的高分类精度，但其错分率分别达到9.75%与8.21%，比TSMI+CNN分类法的错分率(4.87%)高出近1倍，表明TSMI+CNN分类法可有效降低农作物被错分的概率。基于NDVI提取的TSNDVI+RF分类法虽然有利于算法对数据的拟合，但NDVI提取过程所舍弃的绿波段、蓝波段、红边波段与短波红外波段中仍然存在对农作物分类有效的特征，TSMI+CNN分类法可有效利用这些特征来降低作物被错分的概率。
3.1.2 各农作物精度对比分析TSMI+CNN分类法的F1-score精度均高于其他方法(图 4)，分别达到97.5%、97.4%、97.0%、95.9%、89.9%，表明TSMI+CNN分类法对各农作物均有较好的识别能力。其中，春玉米与番茄在各对照组中的最高精度分别为87.7%、81.6%，分别与TSMI+CNN分类法有8.2%、8.3%的精度差距，表明TSMI+CNN分类法可显著提高对春玉米与番茄的识别能力。
Fig. 4
 | Download: JPG larger image |
| 图 4 各农作物在各分类法中的F1-score精度 Fig. 4 F1-scores of crops using different classification methods 图 4 各农作物在各分类法中的F1-score精度 Fig. 4 F1-scores of crops using different classification methods --> | |
表 4为各农作物的制图精度与用户精度。其中，TSM+RF与TSNDVI+RF对照组的棉花用户精度均显著低于制图精度，说明这两种分类方法易将其他类作物归为棉花，而不易将棉花归为其他类作物。TSM+RF、TSNDVI+RF与TSNDVI+CNN对照组的番茄与春玉米制图与用户精度均较低，结合分类混淆矩阵(图 5)可知，分别约有9%、12%与7%的春玉米被错分为番茄，约10%、17%与15%的番茄被错分为春玉米，春玉米与番茄之间的混淆严重。TSMI+CNN分类法对于棉花、冬小麦、春小麦、春玉米的制图与用户精度均达到95%以上，证明该方法对这些作物均具有极强的分辨能力。
Fig. 5
 | Download: JPG larger image |
| 图 5 各分类组的混淆矩阵 Fig. 5 Confusion matrix of every classification method 图 5 各分类组的混淆矩阵 Fig. 5 Confusion matrix of every classification method --> | |
Table 4
表 4 各农作物的制图与用户精度Table 4 Mapping accuracies and user accuracies of specific crops
| 表 4 各农作物的制图与用户精度Table 4 Mapping accuracies and user accuracies of specific crops | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
图 6为春玉米与番茄的时间序列多光谱与时间序列NDVI，从中可见，春玉米与番茄“异物同谱”现象明显，难以直接进行区分。TSMI+CNN分类法对于春玉米和番茄的制图与用户精度分别达到95.45%、96.33%和93.11%、86.91%，比各对照组中的最高精度分别有约7.2%、8.1%、11.2%、6.8%的提高(表 4)，说明TSMI+CNN分类法能有效提高对“异物同谱”作物，如春玉米与番茄的识别能力。
Fig. 6
 | Download: JPG larger image |
| 图 6 春玉米与番茄的时间序列NDVI和时间序列多光谱 Fig. 6 Time series NDVI and time series multispectral of spring corn and tomato 图 6 春玉米与番茄的时间序列NDVI和时间序列多光谱 Fig. 6 Time series NDVI and time series multispectral of spring corn and tomato --> | |
3.2 制图分析对各分类方法的制图结果进行对比分析(图 7)，结果表明，不同分类组的制图存在较大差异。基于时间序列光谱与随机森林算法的TSM+RF组“椒盐”噪声最多，地块内部不均匀，且边界轮廓线模糊。TSNDVI+RF与TSNDVI+CNN组相比TSM+RF组“椒盐”噪声明显减少，地块内部均匀，但边界轮廓线仍较为模糊。相比各对照组，TSMI+CNN分类方法制图结果最好，地块内部均匀，边界轮廓线清晰，几乎没有“椒盐”噪声，有利于遥感农作物的分类与制图。
Fig. 7
 | Download: JPG larger image |
| 图 7 TSMI+CNN方法与其他方法的分类图 Fig. 7 Crop classification maps using TSMI+CNN method and other methods 图 7 TSMI+CNN方法与其他方法的分类图 Fig. 7 Crop classification maps using TSMI+CNN method and other methods --> | |
应用TSMI+CNN分类法对沙湾县全境主要农作物进行分类制图(图 8)，从图中可见，棉花是沙湾县境内最主要的农作物，广泛分布在地块连续、土壤肥沃、农业设施完备的北部平原地区。冬小麦、春小麦、春玉米与番茄等在全县境内都有种植，但主要集中在中部的洪积冲积扇区与南部的山前丘陵区。最后对分类图中各农作物像元数进行统计，结合Sentinel-2A数据分辨率，计算得到沙湾县棉花、小麦、春玉米与番茄的种植面积，将该结果与沙湾县2017年统计年鉴对比(表 5)表明，棉花、小麦、春玉米的百分误差分别为5.48%、6.04%、8.65%，差异较小，与实际统计结果相近，证明了TSMI+CNN分类法分类结果的可靠性，具有良好的实际应用价值。
Fig. 8
 | Download: JPG larger image |
| 图 8 基于TSMI+CNN方法的实验区主要农作物分类图 Fig. 8 Classification maps of the main crops in study area using TSMI+CNN method 图 8 基于TSMI+CNN方法的实验区主要农作物分类图 Fig. 8 Classification maps of the main crops in study area using TSMI+CNN method --> | |
Table 5
表 5 农作物的面积统计对比Table 5 Comparison of crop area statistics
| 表 5 农作物的面积统计对比Table 5 Comparison of crop area statistics |
4 结论与讨论4.1 结论深度学习中的卷积神经网络具有良好的图片识别能力，基于该特点，本研究对时间序列多光谱进行基于像元的重构，得到每个地面像元的时序光谱图，采用TensorFlow深度学习框架，基于GPU+CPU的硬件平台搭建卷积神经网络，并利用Adam梯度下降法与Dropout 40%连接率优化后的卷积神经网络对时序光谱图进行分类，成功提取研究区内棉花、冬小麦、春小麦、春玉米和番茄等主要作物。主要结论如下：
1) 本文所提出的TSMI+CNN分类法总体分类精度达到95.12%，相比TSM+RF、TSNDVI+RF、TSNDVI+CNN等对照组分别提高6.54%、4.87%、3.33%，说明该分类法可有效提高遥感农作物分类精度。
2) 对于“异物同谱”情况明显，在各对照组中混淆相对严重的春玉米与番茄，TSMI+CNN分类法的F1-score综合精度分别达到96.33%和90.73%，相比其他对比试验组中的最高精度分别提高8.66%与9.73%。说明TSMI+CNN的分类法可有效区分光谱相似性高的作物。
3) TSMI+CNN分类法对沙湾县各主要农作物的制图精度均超过93%，制图结果边界清晰，地块内部均匀，无明显“椒盐”噪声，表明TSMI+CNN分类法可完成高精度的遥感农作物制图，具有良好的现实应用价值。
4) 基于特征提取的传统分类方法通常涉及复杂的特征提取与重建工作，通过对时间序列多光谱的时间维与光谱维的重新排列，本研究完成了实验区内各农作物的提取，不涉及复杂特征提取与重建，可有效提高遥感农作物分类的自动化水平。
4.2 讨论TSMI+CNN分类法通过时序光谱的重构，将一维“线”型的时间序列多光谱重组为二维的“面”状结构化图片，将农作物的谱识别问题转为图识别问题，结合卷积神经网络对图片的深层特征自动提取与分类能力，避免了时序法分类中手动提取特征的缺陷，实现了机器提取特征，进一步完成了高精度的农作物遥感分类。该研究结果与Zhong等[34]、Kussul等[35]的相关研究结果同样表明将卷积神经网络应用到农作物分类中可以获得高精度的分类结果，且证明了卷积神经网络在农作物遥感分类中的良好应用价值，可为农作物的自动化精细制图提供一定借鉴。
尽管本文中提出的TSMI+CNN农作物分类法较以往的主要分类方法具有诸多分类优点，在本文的农作物分类中取得了较好的分类成果，但该方法仍存在一定不足之处。本研究仅采用Sentinel-2A数据进行TSMI+CNN法的农作物分类，数据源相对单一。目前，多源遥感数据的融合与综合利用是遥感研究的重要内容之一[36-37]，在未来的研究中，将进一步发展TSMI+CNN分类法，比如将不同数据源的时间序列多光谱构造为图片，再基于卷积神经网络进行分类。此外，开展基于卷积神经网络的有效特征可视化研究，确定各时相影像、各光谱波段的分类有效性也将是进一步开展研究的重点。
参考文献
| [1] | Say S M, Keskin M, Sehri M, et al. Adoption of precision agriculture technologies in developed and developing countries[C]//International Science and Technology Conferecce. Berlin, 2017: 41-49. |
| [2] | 方向明, 李姣媛. 精准农业:发展效益、国际经验与中国实践[J]. 农业经济问题, 2018(11): 28-37. |
| [3] | Bargiel D. A new method for crop classification combining time series of radar images and crop phenology information[J]. Remote Sensing of Environment, 2017, 198: 369-383. Doi:10.1016/j.rse.2017.06.022 |
| [4] | 张佳华, 胡小夏, 刘学锋, 等. 基于MODIS数据提取华北典型区冬小麦种植面积[J]. 中国科学院研究生院学报, 2013, 30(5): 637-643. |
| [5] | 史舟, 梁宗正, 杨媛媛, 等. 农业遥感研究现状与展望[J]. 农业机械学报, 2015, 46(2): 247-260. |
| [6] | 史飞飞, 高小红, 杨灵玉, 等. 基于HJ-1A高光谱遥感数据的湟水流域典型农作物分类研究[J]. 遥感技术与应用, 2017, 32(2): 206-217. |
| [7] | 王文静, 张霞, 赵银娣, 等. 综合多特征的Landsat8时序遥感图像棉花分类方法[J]. 遥感学报, 2017, 21(1): 115-124. |
| [8] | 史飞飞, 雷春苗, 肖建设, 等. 基于多源遥感数据的复杂地形区农作物分类[J]. 地理与地理信息科学, 2018, 34(5): 49-55, 2. |
| [9] | Cai Y, Guan K, Peng J, et al. A high-performance and in-season classification system of field-level crop types using time-series Landsat data and a machine learning approach[J]. Remote Sensing of Environment, 2018, 210: 35-47. Doi:10.1016/j.rse.2018.02.045 |
| [10] | 刘佳, 王利民, 滕飞, 等. RapidEye卫星红边波段对农作物面积提取精度的影响[J]. 农业工程学报, 2016, 32(13): 140-148. |
| [11] | Chauhan H J, Mohan B K. Measures to improve crop classification using remotely sensed hyperion hyperspectral imagery[C]//2012 International Conference on Communications, Devices and Intelligent Systems (CODIS). IEEE, 2012: 596-599. |
| [12] | Senf C, Leit?o P J, Pflugmacher D, et al. Mapping land cover in complex Mediterranean landscapes using Landsat:improved classification accuracies from integrating multi-seasonal and synthetic imagery[J]. Remote Sensing of Environment, 2015, 156: 527-536. Doi:10.1016/j.rse.2014.10.018 |
| [13] | 翟涌光, 屈忠义. 基于非线性降维时序遥感影像的作物分类[J]. 农业工程学报, 2018, 34(19): 177-183. |
| [14] | L?w F, Michel U, Dech S, et al. Impact of feature selection on the accuracy and spatial uncertainty of per-field crop classification using support vector machines[J]. Isprs Journal of Photogrammetry & Remote Sensing, 2013, 85(6): 102-119. |
| [15] | Tewkesbury A P, Comber A J, Tate N J, et al. A critical synthesis of remotely sensed optical image change detection techniques[J]. Remote Sensing of Environment, 2015, 160: 1-14. Doi:10.1016/j.rse.2015.01.006 |
| [16] | Ji S, Zhang C, Xu A, et al. 3D convolutional neural networks for crop classification with multi-temporal remote sensing images[J]. Remote Sensing, 2018, 10(2): 75. |
| [17] | 张健康, 程彦培, 张发旺, 等. 基于多时相遥感影像的作物种植信息提取[J]. 农业工程学报, 2012, 28(2): 134-141. |
| [18] | 郭昱杉, 刘庆生, 刘高焕, 等. 基于MODIS时序NDVI主要农作物种植信息提取研究[J]. 自然资源学报, 2017, 32(10): 1808-1818. |
| [19] | Belgiu M, Csillik O. Sentinel-2 cropland mapping using pixel-based and object-based time-weighted dynamic time warping analysis[J]. Remote Sensing of Environment, 2018, 204: 509-523. Doi:10.1016/j.rse.2017.10.005 |
| [20] | Ma X, Fu A, Wang J, et al. Hyperspectral image classification based on deep deconvolution network with skip architecture[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(8): 4781-4791. Doi:10.1109/TGRS.2018.2837142 |
| [21] | 闫苗, 赵红东, 李宇海, 等. 基于卷积神经网络的高光谱遥感地物多分类识别[J]. 激光与光电子学进展, 2019, 56(2): 191-198. |
| [22] | 江璐, 赵彤, 吴敏. 基于深度卷积神经网络的指纹纹型分类算法[J]. 中国科学院大学学报, 2016, 33(6): 808-814. |
| [23] | 吕俊奇, 邱卫根, 张立臣, 等. 多层卷积特征融合的行人检测[J]. 计算机工程与设计, 2018, 39(11): 3481-3485. |
| [24] | 欧攀, 张正, 路奎, 等. 基于卷积神经网络的遥感图像目标检测[J]. 激光与光电子学进展, 2019, 56(5): 1-12. |
| [25] | Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems. Lake Tahoe, 2012: 1097-1105. |
| [26] | 陈超, 齐峰. 卷积神经网络的发展及其在计算机视觉领域中的应用综述[J]. 计算机科学, 2019(3): 63-73. |
| [27] | Xu X, Li W, Ran Q, et al. Multisource remote sensing data classification based on convolutional neural network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(2): 937-949. Doi:10.1109/TGRS.2017.2756851 |
| [28] | Adelabu S, Mutanga O, Adam E. Evaluating the impact of red-edge band from Rapideye image for classifying insect defoliation levels[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 95: 34-41. Doi:10.1016/j.isprsjprs.2014.05.013 |
| [29] | 郑阳, 吴炳方, 张淼. Sentinel-2数据的冬小麦地上干生物量估算及评价[J]. 遥感学报, 2017, 21(2): 318-328. |
| [30] | Rapinel S, Mony C, Lecoq L, et al. Evaluation of Sentinel-2 time-series for mapping floodplain grassland plant communities[J]. Remote Sensing of Environment, 2019, 223: 115-129. Doi:10.1016/j.rse.2019.01.018 |
| [31] | Truong T D, Nguyen V T, Tran M T. Lightweight deep convolutional network for tiny object recognition[C]//International Conference on Pattern Recognition Applications and Methods. Funchal, 2018: 675-682. |
| [32] | Hinton G E, Srivastava N, Krizhevsky A, et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Comput Science, 2012, 3(4): 212-223. |
| [33] | Srivastava N, Hinton G E, Krizhevsky A, et al. Dropout:a simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958. |
| [34] | Zhong L, Hu L, Zhou H. Deep learning based multi-temporal crop classifcation[J]. Remote Sensing of Environment, 2019, 221: 430-443. Doi:10.1016/j.rse.2018.11.032 |
| [35] | Kussul N, Lavreniuk M, Skakun S, et al. Deep learning classification of land cover and crop types using remote sensing data[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(5): 778-782. Doi:10.1109/LGRS.2017.2681128 |
| [36] | 张兵. 遥感大数据时代与智能信息提取[J]. 武汉大学学报(信息科学版), 2018, 43(12): 1861-1871. |
| [37] | Tuia D, Marcos D, Camps-Valls G. Multi-temporal and multi-source remote sensing image classification by nonlinear relative normalization[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 120: 1-12. Doi:10.1016/j.isprsjprs.2016.07.004 |
