摘要
高光谱遥感图像（HRSI）可以提供物体的额外光谱信息，在许多领域得到了广泛的应用。然而，由于HRSI收集区的复杂环境，收集HRSI的标记样本既耗时又费力。标记样品的稀缺性是HRSI分析和处理的主要困难之一。在这封信中，提出了一种用于HRSI的空间-光谱原型网络（SSPN），以解决缺少标记样本的问题。这封信的贡献有三个方面。首先，我们设计了一种新的基于空间邻域相关的局部模式编码算法，将HRSI像素的空间和光谱信息结合起来。然后，提出了一种基于一维卷积神经网络（1-D-CNN）的空间-光谱特征提取算法，用于学习空间-光谱度量空间，在该空间中，仅需少量标记样本即可对HRSI像素进行正确分类。最后，提出了一种新的空间-光谱度量空间HRSI原型表示方法，以更好地对HRSI中存在的混合像素进行分类。在三个流行的HRSI数据集上的实验结果表明，该SSPN算法明显优于传统算法。
1引言
高光谱遥感图像（HRSI）包含了目标的空间和光谱信息，使图像处理更加有效和准确。HRSI分类[1]对于HRSI分析和处理至关重要。大多数传统的HRSI分类算法基于手工特征[2]–[5]和传统分类器[6]、[7]。为了提高HRSI分类精度，采用图匹配[8]、[9]来探索HRSI的结构信息。近年来，深度学习技术有了长足的发展。与手工特征相比，卷积神经网络（CNN）提取的特征具有更多的高级语义表达和更强的鲁棒性。CNN也被用于HRSI的分类。例如，Hu等人[10]提出了一种基于一维CNN的算法来提取HRSI在光谱维度上的深层特征。此外，还为HRSI提出了基于2-D-CNN和3-D-CNN的网络[11][12]。目前，HRSI分类中的主要问题是缺乏标记样本。然而，现有的深度学习方法需要大量的标记样本进行训练。
作为一种特殊类型的迁移学习，“fiew-shot”学习[13]、[14]是从现有数据中学习一个度量空间，它能够推广到只有少量标记样本的新数据类。原型网络（prototypicnetwork，PN）作为基于少量样本学习算法的代表之一，具有简单、高效的优点。原始PN[14]的主要思想是通过计算度量空间中支持点的平均向量来获得每个类的原型表示，然后通过原型和查询点之间的距离度量进行分类。然而，原始PN忽略了空间和光谱信息的组合，无法处理HRSI中存在的混合像素。因此，本文提出了一种适用于HRSI的空-谱PN（SSPN），它可以有效地解决标记样本不足的问题，并在HRSI分类中获得更好的性能
主要贡献总结如下。首先，提出了一种局部模式编码来提取谱向量的空间邻域相关性。其次，提出了一种基于一维CNN的空间-光谱特征提取算法，该算法在学习度量空间时可以有效减少自由参数的数量。第三，为了处理HRSI中混合像素的广泛分布，提出了一种基于空间-光谱度量空间的加权平均HRSI原型表示方法，以提高“fiew-shot”分类精度。
2空间光谱原型网络
在本节中，将详细介绍所提出的SSPN。SSPN的框架主要由三部分组成，如图1所示。首先，采用局部模式编码，将局部谱向量转换为空间谱向量;然后，我们利用包含4个基于1-D-CNN卷积块的空间-光谱特征提取算法，充分利用空间-光谱向量的特征。最后，我们在空间-光谱度量空间中获得空-谱原型，并通过计算到每个类别原型的距离来执行HRSI分类。在训练过程中，根据距离度量结果，采用Softmax更新卷积块的参数。
A基于空间邻域相关的HRSI局部模式编码
在传统的基于CNN的HRSI算法中，通常将像素的光谱向量或分割成单个频带的HRSI作为网络的输入，这导致了HRSI中空间和光谱信息的分离。根据文献[15]中提到的思想，将高级语义和空间特征压缩到单纯形向量中，实现特征集成。受此启发，我们设计了一种基于空间邻域相关的局部模式编码算法，将空间域和光谱域的信息结合起来。将U定义为以像素sc为中心的局部邻域中P（P1）个相邻像素的光谱响应联合分布，可以表示为:
其中，u（·）表示光谱响应联合概率分布函数，specc是中心像素sc的光谱向量，specp表示相邻像素sp的光谱向量（0≤p≤P?1）。为了实现空间和光谱信息的组合，我们首先计算相邻像素和中心像素之间的空间相关性，而不丢失信息，因此（1）可以重写如下：
L是specp和specc的长度，specpk和specck表示specp和specc在第k波段的光谱响应值。然后，假设specc独立于δ（specp，specc），（2）可以分解为
由于主要信息包含在联合空间相关分布中[2]，（4）可以简化如下：
为了避免光谱信息的丢失，将每个δ（specp，specc）乘以specp，然后将U转换为空间-光谱向量SSvector，该向量有效地结合了以sc为中心的局部邻域中的空间和光谱特征，如下所示：
如（6）所示，采用平均值方法来降低计算复杂度。因此，SSvector被用作卷积块的输入，卷积块的长度与像素的光谱向量相同。
B基于一维CNN的HRSI空间-光谱特征提取
如前所述，请注意，SSvector有效地集成了局部邻域的空间和光谱信息。因此，为了进一步从空间谱域中提取SSvector的特征，并在较少的训练参数下学习度量空间，我们提出了一种基于一维CNN的HRSI空间谱特征提取算法。设n层为卷积层，SSvector的一维卷积层公式可表示为:
其中，SSVECTRALnj是第n层的第j个要素图，SSVECTRALn-1i是第n-1层的第i个要素图，β为n-1层特征图的个数.?是一维卷积算子，knij表示n层的一维卷积核，bnj表示n层的偏置参数，f(·)表示非线性激活函数。为了防止过度拟合现象并提高收敛速度，采用校正线性单元（ReLU）作为非线性激活函数，其定义如下：
假设n+1层是池层，那么SSvector的1-D池表示为:
其中σ(·)表示下采样函数。假设SSvector的大小为H×1，并且1-D卷积核为h×1，因此由一维卷积层获得的SSvector特征映射的大小为（h?h+1）×1。设s为池因子，经过卷积和池化后，SSvector的特征映射大小变为（H?h+1）/s×1。我们的方法采用了最大池。如图1所示，基于一维CNN的空间-光谱特征提取算法主要包括四个块。每个块包括一个32滤波器3×1卷积层、一个批量归一化层、ReLU非线性和一个2×1maxpooling层。除了批量规范化之外，没有使用任何正则化。换言之，我们设计的算法使用较少的自由参数进行训练，并且能够高效地学习空间-光谱度量空间。
C、空间-谱度量空间中HRSI的原型表示
在局部模式编码和空间谱特征提取之后，将HRSI像素的谱向量嵌入到基于局部空间谱邻域的非线性度量空间中。设φ为空间-谱度量空间的非线性映射参数，D表示原始谱向量的长度，M表示特征向量在空间-谱度量空间中的长度，因此度量空间的嵌入函数可以表示为fφ：RD→RM。
我们提出的方法受到了原始PN的启发。然而，原始PN的原型表示不适用于HRSI。由于空间分辨率较低，HRSI中包含大量混合像素。混合像素的光谱向量应该是可分离的，这意味着一个混合像素可以属于多个类别。因此，为了考虑混合像素，我们提出了一种新的基于空间-光谱度量空间中加权平均法的HRSI原型表示方法。我们假设Sk表示用k类标记的N个样本的支持集，如下所示：
其中xi是D维谱向量，yi是相应的标签。接下来，我们通过嵌入函数和均值方法计算原始原型，如下所示：
为了提高混合像素的分类精度，获得更健壮的原型，我们采用加权平均法优化原型的求解过程。设fk(xi)表示xi相对于k类的权重值，因此空间-光谱原型c′k给出如下:
其中，权重值fk(xi)由fφ(xi)和ck之间的欧氏距离定义。在具有映射参数φ的空间谱度量空间中，我们实现了查询样本与每个类的空间谱原型之间的距离度量。此外，采用Softmax分类实验，以及在softmax回归中像素x被分类为k类的概率可公式如下：
其中d(.)表示距离函数，exp(.)表示指数函数。通过最小化负对数概率J(φ)进行学习，如下所示：
其中φ通过SGD更新[7]。通过空间-光谱原型的训练，我们提出的方法能够更好地对HRIS混合像素进行分类，并提高HRSI“fiew-shot”分类的性能
3实验
A实验数据集和设置
为了评估SSPN的性能，我们在三个公共HRSI数据集上进行了实验，包括印度松树数据集[16]、博茨瓦纳数据集[16]和帕维亚大学数据集[2]。印度松树数据集由×像素和个光谱反射带组成。博茨瓦纳数据集由14个已确定类别的观测数据组成，共有个样本。帕维亚大学的数据集包含×像素和个光谱带，九个类别代表各种土地覆盖类型。
在这封信中，我们提出的SSPN在训练期间使用了最小批次[17]。通过从训练集中随机选择一个类子集，然后在每个类中选择一个示例子集作为支持集，并选择其余部分的子集作为查询样本。
由于该方法属于迁移学习，我们在印度松树数据集上训练了我们的模型，并在博茨瓦纳数据集和帕维亚大学数据集上进行了测试。印度松树数据集分为两部分：12个训练类和4个验证类。因此，训练集由12类别组成，每类别有N个支持样本，这些样本与测试时的“样本”数量相匹配。我们的模型通过SGD和Adam进行训练，我们使用的初始学习率为10?3.此外，该方法采用欧几里德距离作为距离度量。在测试过程中，我们主要对测试数据集进行three-shot分类和five-shot分类。具体而言，“样本”编号是指测试期间使用的每类标签样品的数量。此外，我们提出的SSPN与最先进的方法进行了比较，包括PN[14]、SVM[6]、SGD[7]和由四个完全连接的层组成的基线网络，分别为1-D-CNN[10]、2-D-CNN[11]和3-D-CNN[12]。
B、实验结果与分析
首先，对我们提出的SSPN中使用的参数进行了检验。为了进行分析，将相邻像素P的数目设置为0、4、8、12、16、20和24.博茨瓦纳数据集不同相邻像素数的SSPN的总体精度如表一所示。可以看出，随着P的增加，分类精度在波浪中增加。然而，当P为16时，分类精度将饱和，然后在峰值后降低。因此，在随后的实验中，P固定设置为16。
其次，在两个HRSI数据集上对八种方法的性能进行了可视化和定量研究。图2显示了博茨瓦纳数据集上的分类图，使用了八种不同的方法，每个类别有五个标记样本。可以直观地得出结论，在SGD和2-D-CNN的映射图上，分配给错误类的查询样本明显多于其他方法，SSPN的映射图与地面真值图最为一致，这表明SSPN优于其他方法。
我们对博茨瓦纳数据集进行了three-shot分类和five-shot分类，以比较SSPN与SVM、SGD、基线、1-D-CNN、2-D-CNN、3-D-CNN和PN。表二列出了不同方法的详细分类结果。可以看出，忽略光谱信息的SGD和2-D-CNN都不适合HRSI少炮分类。相比之下，SVM、基线、1-D-CNN、3-D-CNN、PN和SSPN在标记样本较少的情况下表现出优异的性能。特别是，我们提出的SSPN充分利用了HRSI的空间-光谱特性，达到了最高的精度。比较three-shot分类和five-shot分类的分类结果，可以发现基于SGD、PN和CNN的方法对标记样本的数量更敏感。相反，在进行HRSI“fiew-shot”分类时，我们使用空间-光谱原型进行的SSPN训练对标记样本的变化更具鲁棒性。
关于帕维亚大学数据集，图3示出了八种不同方法在帕维亚大学数据集上预测的分类图，每个类有五个标记样本。从图3可以看出，SSPN图比其他方法更符合地面真值图，这进一步表明了其在HRSI“fiew-shot”分类中的优势。
同样，使用八种不同的方法对帕维亚大学的数据集进行three-shot分类和five-shot分类。如表III所示，我们提出的SSPN的three-shot分类和five-shot分类精度分别为56.18%和57.89%，而SVM、SGD、Baseline、1-D-CNN、2-D-CNN、3-D-CNN和PN的three-shot分类和five-shot分类精度分别为50.12%和49.62%、31.93%和30.19%、54.38%和55.84%、52.97%和55.55%、32.50%和36.52%、54.71%和57.85%，以及53.30%和54.56%，分别地同样的结论是，SGD和2-D-CNN的准确度比其他方法降低了近20%。此外，SVM、基线、1-D-CNN、3-D-CNN、PN和SSPN仍然获得了有满意的结果。此外，我们的SSPN得到的分类结果优于其他方法得到的分类结果。总之，SSPN在HRSI“fiew-shot”分类中的性能比其他方法更准确和鲁棒，这验证了我们提出的方法的有效性。
4结论
在这封信中，提出了一种基于“shot”学习的方法，称为SSPN，用于HRSI。该方法首先实现了基于空间邻域相关的HRSI像素局部模式编码算法，生成空间谱向量，作为后续特征提取的基础。然后，利用我们提出的基于一维CNN的算法进一步提取空间谱向量的特征信息，这也为空间谱度量空间的学习提供了更高的效率。
最后，针对HRSI中存在的大量混合像素，通过空间-光谱度量空间中的权重优化，得到了具有强分辨力的空间-光谱原型。此外，我们在印度松树数据集上训练我们的模型，并在博茨瓦纳数据集和帕维亚大学数据集上对其进行测试，以进行HRSI“fiew-shot”分类。实验结果表明，SSPN的分类精度高于传统HRSI分类器和原始PN，进一步证明SSPN可以有效地将“fiew-shot”学习应用于HRSI。在未来的工作中，我们将尝试结合图匹配来找到HRSI“fiew-shot”分类中源数据集和目标数据集之间的对应关系[8]。
论文获取链接：
转载请注明：http://www.haboluoneia.com/hblnfs/8932.html
