清华大学 计算机科学与技术系, 信息科学与技术国家实验室(筹), 智能技术与系统国家重点实验室, 北京 100084
收稿日期：2017-05-05
作者简介：杨倩文(1991-), 女, 博士研究生
通信作者：孙富春, 教授, E-mail:thusunfc@163.com
摘要：为了解决遥感图像中的合成孔径雷达（synthetic aperture radar，SAR）图像的样本稀缺问题，该文提出了针对这一小样本问题的泛化空间和泛化样本理论，将机器学习的分类问题转化为泛化空间中的样本密度估计问题。首先，通过研究泛化空间方法，针对有限样本的识别分类问题建立了样本密度估计模型，并从理论上验证了泛化空间方法的可行性；其次，在正则化自动编码器模型中，加入了泛化规则作为新的正则化因子对图像重构误差进行约束，针对有限样本问题建立泛化正则自动编码器（generalized auto-encoders，GAE），并提出利用该算法进行图像识别的模型；最后，将该模型应用于遥感图像小样本目标识别问题中。实验结果表明：GAE在SAR图像中具有最优的小样本学习能力，在样本数量有限的情况下，该方法表现出最小的重构误差和测试错误率。在小样本输入情况下，GAE模型实现了对MSTAR图像以及船舶SAR图像的识别分类，进一步证明了该算法相比于同类算法在SAR图像小样本识别问题中更具有优势。
关键词：泛化空间正则化自动编码器(GAE)合成孔径雷达(SAR)有限样本无监督学习
Remote sensing image recognition based on generalized regularized auto-encoders
YANG Qianwen, SUN Fuchun
State Key Lab of Intelligent Technology and Systems, Tsinghua National Laboratory for Information Science and Technology, Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China
Abstract: This paper addresses the problem of sample scarcity in SAR (synthetic aperture radar) images, which are very useful remote sensing sources but are very costly to obtain. SAR images have limited samples which makes it hard to get a standardized "good" model for even simple classification tasks. Then, the limited samples are expanded via generalization of the sample space using prior and a priori information including labels. Then, auto-learning models, regularized auto-encoders, are used to extract useful features from the generalized sample space. A regularization term is used to penalize generalized samples in an image recognition algorithm. The method produces good results on limit-sized subsets from the MNIST database and the SAR MSTAR image dataset. With limited input samples, the method gives better reconstruction errors and recognition accuracies in the SAR ship images than the state-of-art methods. Thus, this algorithm is shown to be successful in both theoretical analyses and tests.
Key words: generalized sample spacegeneralized auto-encoders (GAE)synthetic aperture radar (SAR)limited samplesunsupervised learning
在遥感图像的研究应用中，合成孔径雷达(synthetic aperture radar，SAR)图像由于其全天候、主动雷达成像以及穿透性强等优点而被广泛应用，在军事应用中比其他遥感成像技术具有更大的优势。但是，SAR图像相干斑噪声明显，而且高分辨率的机载、星载SAR图像对于军用民用目的来说其代价较大，因此使用SAR图像进行目标检测与识别首先面临的就是样本量过小，以及图像相干斑噪声问题引起的样本特征的缺乏，这些问题都会导致严重的过拟合，降低分类器的泛化能力。
SAR图像的稀缺性实际上最突出的表现在其图像检测方面，图像检测的目标具有单一性。SAR图像的检测研究主要有装甲车辆的检测[1-3]、道路检测、船舶/航迹检测[4-5]等，而其中的应用方法也多集中在根据先验知识获取特征的可能表达，进而进行目标检测的方法。
实际上在样本识别问题中，SAR图像得到的质量不均的样本中仅有少部分是有标定的，并且很可能后续的大量样本并不具备标记样本的质量，这就成为小样本学习问题，本文希望首先建立起具有足够描述能力的学习机器，并经过不断的在线学习实现逐渐逼近。从充足样本的学习到小样本的学习是非常困难的[6-7]，当只有少量的样本标注情况下，需要考虑如何使用大量的未标注样本提高模型的精度。
在类似的问题中，深度学习方法[8-11]也得到广泛应用，其利用了预训练对模型进行初步估计，在没有大型的数据库进行训练的情况下，使用半监督的卷积神经网络与其他深度学习方法相结合，提高了模型的精确表述能力。半监督学习与小样本学习[12]又具有不同的研究侧重点，小样本学习对模型的初始建模有很高的要求，其中就人脸识别领域来说，已经有很多单一样本识别(single-sample face recognition task)的相关研究[13-15]，该方法将流形学习与稀疏表示的概念运用到了多流形分解中，为本文研究提供了重要启发点，即从流形学习的角度分析深度学习的自动编码器方法。而半监督学习则很少提到对样本的特性进行研究，针对样本的独特性进行学习，即使是在深度学习中，在目前的条件下使用一个深度网络解决不同类型数据库上相同的问题也是非常难以实现的。
本文希望建立一种通用的方法框架，不但能够解决特殊的遥感图像库的小样本学习问题，而且在实际应用中针对噪声较大的SAR图像实现小样本学习。本文研究方法从一定程度上解决了模型对数据统计数量的依赖，不再依靠深度学习网络层数的加深来提高特征表达的能力，而是依靠单层自动编码器的分析能力与信息提取能力。
1 泛化样本空间理论研究在传统微分流形中，多维空间的流形最重要的性质在于其可微性，机器学习是基于一个基本的样本代表性假设，即多维流形与采样的样本是同构的，在拓扑上可称之为微分同胚的。而最简单的样本空间，从理论上可以称为是多维流形的一个嵌入。在泛函分析中，可以从有限覆盖角度认为其泛化后的空间是一个N+1维完备空间，本文主要在N+1维泛化多维流形空间中进行学习。
数学上，常用的概念为光滑流形的可微性及其性质，而在机器学习中，主要目的是得到流形的参数与数值性质，是2种完全不同的研究内容。本文为了证明算法的理论基础，使用微分几何[16]基本定理并提出了泛化空间的概念。
本文提出的泛化对任何数据都是可适用的，主要在于对先验知识包括类别编号等维度的泛化，在机器学习中为监督学习或先验学习的应用。由于数学上流形的泛化是不可数值表述的，本文提出使用如下定理对泛化进行理论定位。
1.1 定理定理：若多维流形空间的泛化空间无法适用于拓扑空间的拓扑同胚理论，则该流形是不可泛化的，而多维空间泛化必然是微分同胚的。
证明：反证法。
多维流形空间M与低维R具有单映射f：M→R，则由M和R构成的空间可扩展为N，称N是M的泛化，假设N和M不是同胚。而显然空间上N={M，f(M)}具有单映射g：M→N，为其逆映射。
1.2 维度特性推论：泛化空间与样本空间具有相同的维度。
证明：由定理相关性f：M→R容易得出。
图 1展示了泛化的流形空间，该结构特征保证了泛化多维空间的结构特征，对于目标识别问题，泛化的多维空间能够通过它估计f(X′)的分布情况，其中最大概率密度所对应的就是原空间X的最可能取值。将样本稀缺的目标识别与分类问题转化为更高维空间的密度估计问题，本文称为问题的转化。理想条件下，密度估计问题通常被认为是相较于分类问题“更难”的问题，但是本文提出的泛化多维空间作为理论分析工具(暂不考虑其算法复杂度的特殊性问题)，在保证密度估计准确性条件下，容易证明其概率密度估计的难度，与求解一个不可观测的作为分类依据的条件概率的难度是一致的。
 |
| 图 1 泛化空间M′上密度分布特性 |
| 图选项 |
1.3 信息熵与数据冗余对于一些相关度较高的图像样本，其实是在不同程度上对信息的重复，而对于学习机器，这样的冗余容易导致模型估计的偏差。因而对泛化的样本空间的研究，主要致力于解决同样约束条件下满足学习机器对信息的要求，这在泛化空间中非常容易通过引进多余的维度，标示这些样本的统一性作为学习机器的输入，但这些信息如何利用，本文将在第3部分引入正则化进行限定。
1.4 泛化样本稀缺模型样本的代表性与样本数量之间的关系是统计学中最难判断的内容，样本稀缺问题则是本文研究的最根本的科学问题。实验中无法满足缺少的样本可以通过已知样本推断或者泛化，而这类数据匮乏问题必须通过采取近似样本或有代表性的样本来改善，这部分内容不列入本论文的研究范畴。本文假设所采集的稀缺样本具有充分的代表性，样本空间与节1.2研究的泛化多维空间，得到的样本是对泛化多维数据进行采样的结果，对于无法泛化的样本(先验信息不全)视为数据缺失。
假设训练集样本具有d个样本(X1，X2，…，Xd)，样本的标号数据为L，其对应每一个数据样本的类别及各类数据(例如图像的分辨率)。则样本稀缺问题可以描述为希望能够通过d个样本，估计未来的n个样本是否具有某种特性(其中d?n)，即n个样本Y1，Y2，…，Yn在整个泛化多维数据空间中的密度分布特征，也即Yi在流形上的位置。
针对上述问题，可首先考虑线性PCA(principal component analysis)使得其构造成为一阶表达式，能够得出在给定稀疏样本条件下的主成分分量分解，但该方法构造简单使得其分解并不那么准确；而假设样本具有足够得代表性，就可以通过流形学习[17]的零空间(核空间)算法，得到近似的低维流形嵌入，相较于传统的PCA算法得到的结果具有更高层的语义信息，而不是简单的主成分降维。但该模型若采用非线性函数作为优化目标，是否能够达到全局的最优需要进一步讨论。
由于模型样本的缺乏，在实际操作中完全可以将流形学习方法扩展到更高阶的表示中，采用深度学习中自动编码器的超完备隐层表示学习[18]的思想，但是训练过程很可能由于过度“使用”样本而产生过拟合，因此本文使用正则化自动编码器结构。在训练过程中，现有的算法不能解决自动编码器单元的训练过拟合问题，因此本文将考察如何通过使用泛化规则对自动编码器算法进行改进。
2 自动编码器的泛化正则化方法2.1 自动编码器正则化规则通过分析样本的流形空间表示，发现样本稀缺条件下的密度估计问题需要更强的收敛条件才能保证流形的重构误差为零。假设需要研究的样本空间是从泛化的多维数据空间中采样得到的，自动编码器通过最小化重构误差进行非监督学习，而样本空间的容量对自动编码器的生成产生的影响类似于非线性问题的约束条件。对于线性方程Ax=b，当A的行秩远大于列秩时，一般解是不唯一的(如自动编码器的表示过程，如果无正则化约束，很可能是不唯一的)，或者是无解的。考虑自动编码器的模型用最小二乘法分析，min‖WTs(WX)+B-X‖2可转化为非线性最优问题，类似于线性方程组的最优解，将其转化为求解WTs(WX)-X=B′的问题，同样为了得到最优解，将非常有限的样本代入方程，得到一个非线性的不适定问题。为了解决这一不适定问题，最直接的方法是限制特征的规模，即隐层单元的数量，但对于表示学习的自动编码器，其隐层空间的单元个数在一定范围内与其描述能力成正比[19-20]。因此如果希望自动编码器具有足够的隐层空间表示能力，就必须保持隐层空间具有一定的规模，而为了解决该问题又必须要对自动编码器进行正则化。
为了在保证稀缺样本条件下充分地学习密度子流形而不产生过拟合，正则化因子需要对样本容量做更强约束，也就是需要建立输入层到隐层空间的惩罚因子。因此一阶导数(Jacobian)和二阶导数(Hessian)都可以约束投影的方向与最终的隐层空间表示，这就是收缩自动编码器的原理。同样，为了能够解析表示出符合能量要求的正则表达式，本文验证了样本稀缺或半监督学习情况下，初始的样本学习必须要避免过拟合的结论，因此，需要对学习的结果进行限制。
首先，最直接的解决思路是惩罚隐层空间的维度，在描述能力足够的情况下，限制其维度发展是一般采取的方法，这与正则化不会通过对维度操作而促使函数一致收敛相矛盾[21](这种惩罚因子实际上改变了问题本身，得到的解不再是原问题的解)；另一种可行的方法是对维度的权值进行限制，理论上隐层空间信息保持越多，实现重构空间完整重现的可能性越大，但在学习过程中限制隐层空间的维度与训练的目的相悖(一般情况下都是确定隐层单元数量再进行学习)，而且这种方法是无法解析表达的，那么可以通过限制隐层空间获取信息的信息通道(即对权值矩阵的限制，这会影响升维之后的隐层空间的秩)，实现对自动编码器结构的优化。而得到的隐层空间是低维密度流形的嵌入子流形，当这一表示在正则化流形自动编码器中得到应用，其他的正则化条件则需要满足对这一嵌入子流形的逼近。
通过以上建立正则化因子的分析，可以提出适用于样本稀缺模型的正则化因子，如密度函数的相关参数包括方差、矩、信息距离等，并使其符合能量约束的正则化条件，但计算过程复杂，而且与样本的全局信息相关性高，不适合作为分批学习的正则化因子。因此，考察与编码器、解码器相关的函数的信息成为本文研究的主要方向。
通过正则化自动编码器(regularized auto-encoders，RAE)的重构误差可知，正则化因子对模型样本的依赖程度越高，该因子的样本适应度可能越好。相反地，若正则化因子是无关于样本特性的，则很可能样本的收敛性越好反而对样本的需求越高。但与样本相关的因子其计算复杂性方面存在问题，因此本文主要考虑利用编码器与解码器的参数对其进行限制，这些参数提出的正则化因子对样本的稀缺性有一定的适用性，但是正则化并不是对任意样本情况下适用的，正则化约束条件对样本空间的规模也是有限制的。而正则化因子对数据的依赖性使得算法的收敛速度与所适用的样本规模与样本本身的特征息息相关，因此需要考察提出的正则化因子的适用范围。本文提出正则化规则的主要目的是保证其信息提取能力前提下，在有限样本条件下实现正则化自动编码器一致收敛到最优值。使用的正则化自动编码器规则[22]为
| $\begin{align} &{{J}_{\rm{GAE}}}=\sum\limits_{t}{L\left( {{x}^{(t)}}, {{g}_{\theta }}({{f}_{\theta }}({{x}^{(t)}})) \right)}+\lambda \|J\left( {{x}^{(t)}} \right)\|_{F}^{2}- \\ &\ \ \ \ \ \ \ \ \ \mu E\left[\frac{\|J\left( x \right)-J\left( x+\varepsilon \right)\|}{f\left( x+\varepsilon \right)} \right]+\eta \frac{\|W{{\|}^{2}}}{~\left| T \right|}. \\ \end{align}$ | (1) |
2.2 泛化样本输入规则本文在提出的上述RAE基础上，进一步引入泛化空间的概念。设置初始样本的权值矩阵为
| $\mathit{\boldsymbol{{W}'=}}\left[\begin{matrix} \mathit{\boldsymbol{O}}&\mathit{\boldsymbol{I}} \\ \mathit{\boldsymbol{W}}&\bullet \\\end{matrix} \right].$ | (2) |
泛化的自动编码器与传统自动编码器的最大不同在于学习方法与测试方法的构造，在GAE的基础上添加泛化约束，那么上述泛化初始化输入条件在其目标重构误差中表现为对初始值重构误差产生影响。而之后，仅仅对其误差传递中的W产生的Jacobian一阶导数产生影响。本文将N维的数据样本与其标号、分辨率、目标的大小范围等先验知识加入到自动编码器中，即在正则化编码器中加入了所有重要的先验知识，包括但不限于样本类别标号、目标位置信息(x0，y0，w，h)、目标种类(通用类)以及分辨率等信息、离散的条件概率(观测到A时，x属于C1类的概率)、噪声的概率密度(Gauss噪声的σ参数)。本文将研究这些因素的应用方式。
首先，将以上泛化因子作为样本输入到编码器中，给定输入要求，其中输入的泛化内容起始全部得到学习，标定样本的权值并不是随机生成而是设置为I (单位矩阵)。然后，输入的样本保持情况如图 2所示，其中的关键在于隐层空间的设计，需要对输入输出进行解耦，为了保持最重要的信息，先验信息的编码需要保持性质，其中重要的内容在于将其保持映射到一个固定的范围，而本文的算法需要保证编号信息不会受到输入原始数据的影响，进而，重构出的泛化样本在这一重要信息中不会出错，也就是需要对其变化具有极小的容忍度。其中，不再添加约束项，训练过程中随机梯度下降法(stochastic gradient descend, SGD)不断更新，而仅仅需要在全部样本每次遍历之后进行一次检验)，将学习的结果通过这一项惩罚进行改善，得到的结果仍然是泛化的样本输入的完美重构。
 |
| 图 2 泛化正则化样本的输入规则表示 |
| 图选项 |
其次，当将训练好的自动编码器(auto encoders, AE)模型进一步进行样本的编码时，由于没有其中的类别信息，因此本文得到的隐层信息仍然是类别数相关，通过不同类别的输入得到的是一个多维的编码器模型，即在同一个输入条件下，能够考察编码器对应于不同类别的样本输出结果，通过概率分析与重建，得到的最接近于原始数据概率密度分布的数据将最终实现完美重建，这样得到了更为准确的分类结果。
图 2展示了实现该泛化正则化自动编码器在图像识别中的具体应用方案。当图像数据输入时，采用的GAE解析表达为式(1)所示的损失函数模型，并且将先验知识的标号作为泛化样本初始输入时，权值惩罚因子已经计算完毕，然后将这部分权值忽略，W′矩阵的反对角部分可以完全确定，关键在于其?部分。其中，?的初始值将从一个Gauss分布中随机选取，并将其作为第二项权值部分加入，并对其进行惩罚，这一部分的权值更新将与网络的构造同时进行。这保证了标号和先验信息在网络中的传递性，不会被原始图像信息改变。当训练达到稳定时，实际上权值的改变仅有W和?，这也是预期达到的效果。
3 实验设计与结果分析本节实验的主要目的是验证正则化自动编码器学习的可靠性，并通过设计正则化自动编码器的单层模型模拟数据密度估计问题，通过对二值化图像与SAR图像数据的实验验证以下问题：
1) 泛化正则化自动编码器的目标识别与分类可行性；
2) 泛化正则化自动编码器的目标识别算法的参数选择；
3) 泛化正则化自动编码器对样本容量的适用范围；
4) 泛化空间规则对于图像目标识别的作用。
3.1 实验设计实验方案包括去噪自动编码器(DAE)、收缩自动编码器(CAE)、高阶导数收缩的正则自动编码器(CAE+H)、泛化正则自动编码器(GAE)等正则化自动编码器以及受限玻尔兹曼机(RBM)网络模型。
实验所采用的数据主要为MNIST手写数据库与MSTAR(moving-stationary target automatic recognition)数据库的预处理与切片数[23]，分析算法对简单视觉图像(即一般图像数据，与遥感图像相互区别)与SAR图像处理的异同，验证算法对样本稀缺问题的适用性。
3.2 泛化因子实验与分析1)泛化正则化规则的效果分析。
实验研究了在U(x0，ε)范围内的惩罚项的比例(简称为收缩率)，与CAE算法和CAE+H的改进算法相比，广义惩罚因子在样本邻域空间中的最大值和最小值中，收缩因子是变化起伏最低的。但同时，变化结果在最靠近邻域过程中得到收敛，在远离样本点过程中Hessian惩罚因子保证了流形的光滑性。
惩罚因子的几何作用使得在x0的邻域中具有方向性，其中GAE由于引进了高阶偏导，增强了对不饱和样本的惩罚，在Jacobian行列式的奇异值分解中表现为奇异值衰减更快，其约束结果更加趋向于增加了对密度估计的精度的要求。图 3为本文提出的方法与其他算法的比较。
 |
| 图 3 J(x)在MNIST样本点邻域分布特性及其特征值分布 |
| 图选项 |
正则化因子的研究对收敛速度的提升有指导作用，对权值矩阵的约束使得样本在邻域空间仍然保持相同的值，使其更加接近全局最优；而对于泛化样本输入规则，不仅仅是对输入层的扩充和对不适定问题进行进一步约束的问题。泛化初始化规则是从信息量增加的角度，可以保证在有限的样本中也能够提取到相当于高阶信息的先验输入，3种因子相辅相成。本文接下来考察针对其惩罚因子的不同达到的最优效果，并且通过微调得到针对SAR图像数据的最优组合；然后讨论3种正则化因子针对不同样本的容忍度，即不同的正则化方法能够对何种规模的样本空间进行密度估计。
2) 最优模型参数估计。
首先估计实验样本的最优化值，当采用全部样本训练并测试时，确定得到的最优的编码器隐层空间及训练参数。对于训练步数，GAE算法和其他算法对比如图 4a和4b所示。对于MSTAR数据库，当训练步数达到1 500左右时，GAE算法优于其他算法，而当继续训练时，训练重构误差仍在下降，但容易产生过拟合，因此本文将进一步考察另一个评价指标，即测试重构误差，估计其模型的泛化能力，在重构误差中采取模型训练步数上限为2 000。
 |
| 图 4 MSTAR重构误差与训练参数关系 |
| 图选项 |
第2个需要估计的最优参数为隐层单元数，本文分别对100~2 000个隐层单元进行实验，验证其泛化能力，得到的结果如图 4c和4d所示，设置2 000步时训练结束，在隐层单元数为400~1 500 GAE算法得到的结果均为最优。因此，对所有模型最终选取训练为2 000步的隐层节点为1 000的模型参数。
3) 规模估计。
从MNIST数据集中重新采样，采用其字数据集，针对各类样本选取有代表性(随机抽样方式获得)的样本使其能够在10(单一样本学习)，50，100…等一系列样本的情况下进行训练，得到的错误率与数据规模n的关系如图 5a所示。同样，类似的得到MSTAR数据库的小规模样本集，得到的关系如图 5b所示。在小样本问题中，GAE算法表现最优，其次为RBM算法。在实现的样本中，GAE算法在500个样本的样本容量中取得较好的效果，虽然在更高维度上相较于RBM等算法仍有一定差距，但在低于500维空间中表现出了超越其他算法的性能。
 |
| 图 5 测试错误率与训练样本个数关系 |
| 图选项 |
分析GAE算法取得较好的低维性能的原因，主要是由于GAE算法本身针对样本数据稀缺的情况，不仅能够加快收敛速度，而且当样本在一定范围内，Jacobian收缩因子的引入保证了其可靠性(CAE)，二阶因子约束其分布趋向于光滑流形。另一方面，GAE算法的稀疏性与去噪能力使得其在SAR图像目标学习中取得了较好的效果。
4) 泛化规则。
表 1比较了仅采用式(1)的正则化规则和采用本文GAE-*泛化样本输入时得到的结果，其中的表示形式在于不仅仅将提出的低维性能提高到传统算法无法得到的水平，而且泛化正则化规则可以满足更高的精度，在150维样本输入时，得到的识别错误率降低了5%，而1 000维度时降低了1.5%，因此泛化样本规则在极少量样本输入情况下具有更好的效果。可能的原因在于，当加入新的先验信息时，大量的样本输入已经保证了其代表性，并且在大量样本中甚至存在一些与先验知识相类似的冗余信息，而以较少样本输入时，先验信息在模型建立中将起到更加重要的作用，因此，该算法在输入样本有限的情况下表现更优，相比于其他算法在小样本问题中更具有优势。
表 1 GAE泛化空间算法图像目标识别错误率
| MNIST | MSTAR | |||||
| 样本数 | GAE-(1)/(%) | GAE-*/(%) | 样本数 | GAE-(1)/(%) | GAE-*/(%) | |
| 10 000 | 8.10±0.38 | 7.21±0.79 | 2 000 | 15.15±1.89 | 14.38±2.79 | |
| 50 | 36.17 | 35.98 | 50 | 54.10 | 51.70 | |
| 100 | 33.19 | 33.00 | 100 | 51.85 | 47.06 | |
| 500 | 22.71 | 21.52 | 150 | 34.31 | 33.25 | |
| 1 000 | 14.69 | 14.50 | 200 | 23.13 | 23.90 | |
| 2 000 | 12.66 | 11.38 | 500 | 20.97 | 18.05 | |
| 5 000 | 10.89 | 10.11 | 1 000 | 15.43 | 15.25 | |
表选项
3.3 船舶图像的目标识别实验采用的SAR图像为船舶目标的切片样本，从不同的海面SAR图像提取出共300幅，在海面复杂背景下，低分辨率的船舶图像如图 6所示，本实验将选取其中200幅样本作为单层GAE网络的训练集，利用训练后的GAE模型进行样本生成。实验中，首先对于相同的网络结构，其泛化误差随着训练过程的循环步数变化；设定不同的隐层单元数hd，研究GAE网络的隐层节点数与泛化误差的关系。然后针对训练好的单层GAE网络结构，利用测试样本估计泛化空间规则和GAE网络模型的可靠性。
 |
| 图 6 SAR图像船舶目标原始图像 |
| 图选项 |
实验的主要参数取值为：在30个样本中选取MiniBatch大小为5，每次随机选择5个样本生成批处理样本，输入层为128，与经过多尺度变换后的行数相同，而5种对比网络的隐层节点为50~1 500。
实验中利用以上MSTAR数据库训练好的网络权值在船舶图像数据库中进行进一步训练，将训练好的参数在测试集合进行测试，其结果如图 7所示。从图中可以看出，针对小样本的(不超过100)SAR图像船舶数据，即使在得到的样本存在较大的差异情况下，只要保证训练集样本具有一定的代表性，GAE泛化空间算法体现出更好的优越性，而且在实验中表现出了最低的测试错误率。但同时也进一步印证了小样本的SAR图像数据仍然具有相同质量、同一类型数据较难于获取的缺点。
 |
| 图 7 船舶图像数据集的分类实验曲线与结果 |
| 图选项 |
4 结论与展望本文通过分析泛化空间理论与样本空间的关系，提出了泛化空间的定理，并从空间泛函角度分析其特性，在此基础上提出了利用GAE泛化正则编码器模型实现对泛化样本进行学习，在SAR图像的应用中取得了较好的结果。
在相同的样本数量情况下，可以达到较高的样本识别率，其中假设可以得到的样本为400左右时，MSTAR数据库上GAE算法具有优势，并且在较少的训练步数时达到80%左右的识别率，而其他算法必需在样本数达到1 000以上才能够得到相同的识别率。本文同时在MSTAR和MNIST数据库上验证了泛化样本的作用，但仅仅根据式(1)进行正则化时，数据识别的错误率在150维时相较于未加入泛化空间正则化的规则降低了5%，表明了泛化样本空间的方法能够有效地提取新加入的样本先验信息，特别是对SAR图像样本的识别表现出很好的适用性。
由于本文采用单层GAE模型，其表示能力仍有很大的局限性，但深度网络的结构对于模型算法的好坏非常敏感，下一步研究希望能够引入深度自动化编码器网络实现对图像自动目标识别与分类。
参考文献
| [1] | KAPLAN L M. Analysis of multiplicative speckle models for template-based SAR ATR[J]. IEEE Transactions on Aerospace and Electronic Systems, 2001, 37(4): 1424–1432. DOI:10.1109/7.976977 |
| [2] | WANG J, SUN L J. Research on supervised manifold learning for SAR target classification[C]//IEEE International Conference on Computational Intelligence for Measurement Systems and Applications, CIMSA'09. Hong Kong, China: IEEE, 2009: 140-142. |
| [3] | BERISHA V, SHAH N, WAAGEN D, et al. Sparse manifold learning with applications to SAR image classification[C]//IEEE International Conference Acoustics, Speech and Signal Processing. Honolulu, HI, USA: IEEE, 2007: 1086-1089. |
| [4] | SCHERBAKOV A, HANSSEN R, VOSSELMAN G, et al. Ship wake detection using radon transforms of filtered SAR imagery[C]//Proceedings of the European Symposium on Satellite Remote Sensing: Microwave Sensing and Synthetic Aperture Radar. Taormina, Italy: International Society for Optics and Photonics, 1996: 96-106. |
| [5] | 种劲松, 朱敏慧. 高分辨率合成孔径雷达图像舰船检测方法[J]. 测试技术学报, 2003, 17(1): 15–18. ZHONG J S, ZHU M H. Ship detection method of high-resolution SAR imagery[J]. J Test & Measurement Technology, 2003, 17(1): 15–18. (in Chinese) |
| [6] | CHAPELLE O, SCHLKOPF B, ZIEN A. Semi-supervised learning[J]. J Royal Stat Society, 2013, 49(2): 215–239. |
| [7] | 刘建伟, 刘媛, 罗雄麟. 半监督学习方法[J]. 计算机学报, 2015, 38(8): 1592–1617. LIU J W, LIU Y, LUO X L. Semi-supervised learning methods[J]. Chinese J Computers, 2015, 38(8): 1592–1617. (in Chinese) |
| [8] | KINGMA D P, REZENDE D J, MOHAMED S, et al. Semi-supervised learning with deep generative models[J]. Advances in Neural Information Processing Systems, 2014, 4: 3581–3589. |
| [9] | SHINOZAKI T. Semi-supervised learning for convolutional neural networks using mild supervisory signals[C]//International Conference on Neural Information Processing. Kyoto, Japan: Springer International Publishing, 2016: 381-388. |
| [10] | PAPANDREOU G, CHEN L C, MURPHY K P, et al. Weakly and semi-supervised learning of a deep convolutional network for semantic image segmentation[C]//IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 1742-1750. |
| [11] | BLUM A. Semi-supervised learning[M]. New York: Springer, 2016: 1936-1941. |
| [12] | GUO G D, DYER C R. Learning from examples in the small sample case:Face expression recognition[J]. IEEE Trans on Systems Man & Cybernetics, 2005, 35(3): 477–488. |
| [13] | YAN H B, LU J W, ZHOU X Z, et al. Multi-feature multi-manifold learning for single-sample face recognition[J]. Neurocomputing, 2014, 143(16): 134–143. |
| [14] | LU J W, TAN Y P, WANG G. Discriminative multimanifold analysis for face recognition from a single training sample per person[C]//International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011: 1943-1950. |
| [15] | TAN X Y, CHEN S C, ZHOU Z H, et al. Face recognition from a single image per person:A survey[J]. Pattern Recognition, 2006, 39(9): 1725–1745. DOI:10.1016/j.patcog.2006.03.013 |
| [16] | 陈维桓. 微分几何初步[M]. 北京: 北京大学出版社, 1990. CHEN W H. Differential geometry preliminary[M]. Beijing: Peking University Press, 1990. (in Chinese) |
| [17] | HUO X M, SMITH A K. A survey of manifold-based learning methods[C]//Recent Advances in Data Mining of Enterprise Data: Algorithms and Applications. Singapore: World Scientific Publishing Co. Inc., 2008: 691-745. |
| [18] | BENGIO Y, COURVILLE A, VINCENT P. Representation learning:A review and new perspectives[J]. IEEE Trans on Pattern Analysis & Machine Intelligence, 2013, 35(8): 1798–1828. |
| [19] | RIFAI S, VINCENT P, MULLER X, et al. Contractive auto-encoders: Explicit invariance during feature extraction[C]//International Conference on Machine Learning. Bellevue, WA, USA: Omnipress, 2011: 833-840. |
| [20] | ALAIN G, BENGIO Y. What regularized auto-encoders learn from the data-generating distribution[J]. J Machine Learning Research, 2014, 15(1): 3563–3593. |
| [21] | RIFAI S, MESNIL G, VINCENT P, et al. Higherorder contractive auto-encoder[C]//Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Berlin, Heidelberg, Germany: Springer, 2011: 645-660. |
| [22] | YANG Q W, SUN F C. Small sample learning with high order contractive auto-encoders and application in SAR images[J]. arXiv preprint, 2017. |
| [23] | 汪洪桥, 孙富春, 蔡艳宁, 等. 基于局部多分辨特征的SAR图像自动目标识别[J]. 清华大学学报(自然科学版), 2011, 51(8): 1049–1054. WANG H Q, SUN F C, CAI Y N, et al. Automatic target recognition of SAR images based on local multi-resolution features[J]. J Tsinghua University (Science and Technology), 2011, 51(8): 1049–1054. (in Chinese) |
