一种基于多感受野图注意力网络的高光谱图像分类方法

1.本发明涉及地理遥感技术领域，具体是涉及一种多感受野图注意力网络的高光谱图 像分类方法。


背景技术：

2.高光谱图像(hsi)是由配备高光谱成像仪的航天飞行器拍摄的三维图像。图像中 的每个像素包含数百个不同波段的反射信息，这使其适用于许多实际应用，例如军事目 标检测、矿产勘探和农业生产。高光谱图像分类的目标是根据样本特征将图像中的每个 像素分类到一个特定的标签中，并且这些像素可以用不同的图像颜色来表示。近年来， 高光谱图像分类日益成为研究热点。然而，标签缺乏、数据维度高、光谱相似性和像素 混合等给高光谱图像分类带来了巨大挑战。
3.在早期阶段，各种机器学习分类方法被应用于hsi分类，如支持向量机(svm)、k
‑ꢀ
最近邻(knn)、朴素贝叶斯、决策树和极端学习机(elm)。值得一提的是，svm是 最具代表性和最有效的机器学习分类方法之一。随着支持向量机方法的发展，采用了一 些核变换技术的支持向量机方法，如多核学习和核支持向量机(ksvm)，得到了广泛应 用。同时，基于稀疏表示的分类器(src)也已经引起了越来越多的关注，并提出了大 量基于src分类器的算法。然而，上述方法都是基于hsi的光谱特征，没有考虑hsi的 空间信息，分类性能并不理想。为了充分利用空间信息，还研究了一些基于光谱-空间信 息的分类器，如超像素分割、形态学分割和图构造。然而，传统的机器学习分类方法严 重依赖专业知识，无法从hsi中学习深层特征，例如由l.fang,s.li,x.kang,and j.a. benediktsson发表的“spectral
–
spatial classification of hyperspectral images with asuperpixel-based discriminative sparse model,”ieee trans.geosci.remote sens.,vol.53,no.8, pp.4186
–
4201,aug.2015)一文中所披露的信息。
4.随着深度学习的发展和人工智能(ai)的进步，深度学习方法已广泛应用于自然语 言处理、计算机视觉和智能决策等领域。受深度学习成功应用的启发，许多深度学习分 类器已被开发用于hsi分类，并取得了优异的性能，例如，堆叠式自动编码器(saes)、 递归神经网络(rnn)和卷积神经网络(cnn)。与机器学习方法相比，深度学习分类 器能够自动学习hsi的深层复杂特征。在上述深度学习方法中，cnn显示出了光明的前 景并得到了广泛的应用。此外，随着深度学习的发展，各种基于cnn的方法被提出，从 一维cnn到三维cnn，从单一cnn到混合cnn，从浅cnn到深cnn。然而，早期 的cnn方法只能学习局部空间信息，不能提取hsi的深层空间-光谱特征，例如由j. feng et al发表的“cnn-based multilayer spatial
–
spectral feature fusion and sampleaugmentation with local and nonlocal constraints for hyperspectral image classification,”ieeej.sel.topics appl.earth observ.remote sens.,vol.12,no.4,pp.1299
–
1313,apr.2019.一文 中，披露了这样的信息。为了克服这些缺陷，不同形式的cnn方法开始涌现。最近，探 索了一些先进的cnn技术，如光谱空间注意网络和动态卷积核，以改进基于cnn的
方 法。但是cnn需要大量的训练标签来训练网络，这与hsi中的标签不足相矛盾且这些 先进的cnn深度学习模型是针对欧几里德数据设计的，相邻土地覆盖之间的内在相关性 往往被忽略，使得上述方法无法学习标记和未标记数据之间的关系，例如由z.gong,p. zhong,y.yu,w.hu,and s.li发表的“a cnn with multiscale convolution and diversifiedmetric for hyperspectral image classification,”ieee trans.geosci.remote sens.,vol.57,no.6, pp.3599
–
3618,jun.2019.一文中所披露的内容。
5.因此不管是传统机器学习方法还是深度学习中的卷积神经网络在高光谱分类中都面 临一定的局限性。


技术实现要素：

6.为了克服传统机器学习方法和深度学习方法中卷积神经网络在高光谱分类中都面临 局限性问题，本发明的目的在于，提供一种新的多尺度感受野图注意神经网络的高光谱 图像分类方法。
7.现将本发明构思及技术解决方案叙述如下：
8.本发明基本构思是，在卷积神经网络中，采用超像素分割算法来细化原始hsi的局 部空间特征，提供两层一维cnn来提取超像素和可自动学习的光谱特征，在图注意力网 络(gat)中引入图的边和学习图的局部语义特征，提供多尺度感受野gat，用于提取 局部-全局相邻节点特征和边特征，最后利用图形注意网络和softmax函数进行多接收特 征融合和像素标签预测。
9.本发明一种图结构与卷积神经网络相结合的高光谱图像多尺度分类方法的技术解决 方案，具有超像素立方体构造多感受野图和卷积神经网络，其特征在于：通过使用无监 督主成分分析(pca)方法和简单线性迭代聚类(slic)，将原始hsi准确地划分为自 适应局部区域(superpixel)；采用双层1d cnn提取像素的光谱特征减少需要计算的节 点数，抑制原始hsi的噪声；构造基于超像素立方体的多感受野图；利用多特征注意力 模块提取局部节点特征和边特征并采用图形注意网络学习两个特征的重要系数；利用特 征融合注意力模块融合各感受野节点-边特征，给出了分类节点的特征。最后，利用交叉 熵损失对图像特征进行解释，得到每个像素的标签，具体包括如下步骤：
10.步骤1：构建光谱空间转换模块
11.给定hsi立方体ib＝{x1,x2,
…
,xm}，包含个像素，b个波段，其中h 分别表示高光谱图像空间宽度和高度；为提高计算效率，利用主成分分析方法(pca) 进行降维，并选择第一主分量生成降维图像具有m个像素和b个波段， 其中b＜＜b、r表示降维；然后采用slic将像素划分为超像素，局部超像素hsi可以用 数学表达式表示为：
[0012][0013]
其中表示包含ni个像素的超像素，k是超像素的总数；超级像 素中的像素具有很强的光谱空间相关性；在本发明方法中，将超像素作为图的节点；通 过控制超像素数k，可以控制图的规模，降低算法的计算复杂度；
[0014]
步骤2：构建频域转换模块：
节点数，表示n
ik
的重要系数；ni是中心节点n的邻居节点特征，根据式(6)，ni可分 解为相邻节点特征的线性和；
[0035]
步骤3.2：边注意力
[0036]
边缘包含丰富的语义信息。然而，大多数图注意力网络只关注相邻节点的聚合，缺 乏边缘特征的提取；受图卷积中计算边的启发，本步骤引入高斯距离a
ij
来定义节点之间 的关系，即
[0037][0038]
其中hi和hj表示节点i，j的光谱特征(通过等式(4)计算)，两个节点之间的欧氏距 离表示为||h
i-hj||2,表示hj的t跳邻居节点集，γ表示经验集为0.2；
[0039]
与式(5)类似，边注意力中第l卷积层的输出可以表示为
[0040][0041]
其中表示边注意力中第l-1卷积层的输出，表示边注意力的学习注意力系数， ai可以转化为
[0042][0043]
其中ai是中心节点n的第i跳边特征，表示a
ik
的重要系数；
[0044]
步骤3.3：特征融合注意力
[0045]
为了综合利用边和节点特征，提出了特征融合注意力，对上述注意力模块提取的特 征进行自适应融合，n的数学表达式可表示为
[0046][0047]
其中和分别表示相邻节点和边的重要系数；
[0048]
如上所述，质心节点n最终可以表示为
[0049][0050]
其中αi和βi分别表示n
ik
和a
ik
的权重系数。
[0051]
步骤4：构建多感受野模块
[0052]
为了提取hsi的全局信息，设计了一种多分支感受野聚合机制；多感受野设计机制 如图1所示；多感受野模块可以避免低阶跃点的负面影响，并学习hsi的远程特征信息； 在分支s中，节点n的感受野可以形成为
[0053]ri
(n)＝r
i-1
(n)∪r1ꢀꢀꢀ
(12)
[0054]
其中r1(n)是节点n的1跳邻居的集合，r0(n)＝n；分支i中中心节点n的特征最终可 以表示为
[0055][0056]
其中i是节点n的第i跳邻居；
[0057]
步骤5：特征融合注意力和决策模块
[0058]
最后采用图形注意融合多尺度感受野特征。中心节点n的输出特征o可以计算为
[0059]
o＝σ(∑
i∈sei
·wt
ni)
ꢀꢀꢀ
(14)
[0060]
其中ei表示分支i中特征的重要系数，s是多尺度数，w是可训练权重，σ是激活函数， 即leakyrelu；为了确定每个像素的标签，使用softmax分类器对输出特征o进行分类， 即
[0061][0062]
步骤6：损失函数和模型训练
[0063]
采用交叉熵函数来惩罚网络输出与原始标记标签之间的差异，即
[0064][0065]
其中yg是标签集合；c表示类的数量，y
zf
是训练标签矩阵；采用端到端的训练，并 采用adam更新发明的网络参数；
[0066]
在本发明中，设置三个超参数，即超像素k的数量、mfam的卷积层数量l、迭代次 数t和学习率lr；最优超参数设置如表1所示。
[0067]
本与现有技术相比有益效果是：提出了一种一维cnn来学习超像素的光谱特征； 二是将图边引入到gat中，研究了一种基于gat的特征融合机制，通过结合邻居节点 信息和边信息来表示分类节点的特征；三是提出了一种多尺度感受野机制，提取多尺度 局部语义特征，学习局部全局空间上下文信息。本发明能够自动提取高光谱特征并完成 分类。分类正确率达到93％以上。
附图说明
[0068]
图1：本发明基于多感受野图注意力网络的高光谱图像分类方法发明流程示意图。
[0069]
本发明实验是用geforce gtx 1080ti 11g gpu和3.70g intel i9-10900k cpu的电 脑上，在pytorch 1.8对本发明进行训练。首先，首先对原始高光谱图像进行超像素分割， 提取每个超像素块光谱特征；随后构建以超像素为节点的多感受野图；然后利用多特征 注意力模块提取图节点和边特征；最后，利用交叉熵损失对图像特征进行解释，得到每 个像素的标签，对节点进行预测。
具体实施方式
[0070]
现结合附图对本发明的具体实施方式作进一步详细说明。
[0071]
本发明方法由四部分组成：用于hsi预处理的光谱空间变换模块、用于光谱空间特 征提取的多感受野图形构造模块、多特征注意力模块、特征融合注意力和决策模块。本 发明方法的流程是这样实现的：首先，通过使用无监督主成分分析(pca)方法和简单 线性迭代聚类(slic)，将原始hsi准确地划分为自适应局部区域(superpixel)；采用双 层1d cnn
提取像素的光谱特征减少需要计算的节点数，抑制原始hsi的噪声；构造基 于超像素立方体的多感受野图；利用多特征注意力模块提取局部节点特征和边特征并采 用图形注意网络学习两个特征的重要系数；利用特征融合注意力模块融合各感受野节点
‑ꢀ
边特征，给出了分类节点的特征。最后，利用交叉熵损失对图像特征进行解释，得到每 个像素的标签，如上所示，hsi立方体可以通过空间变换器划分为超像素。然而，pca 降维丢失了hsi的光谱信息，即超像素不能充分提取hsi的光谱特征。一般的方法是直 接从原始hsi中提取每个像素的光谱值，然后计算超级像素中像素的光谱平均值。该方 法简单直观，但不能通过网络训练抑制和消除原始hsi的噪声。
[0072]
表1:不同数据集的超参数设置
[0073][0074]
分类结果：
[0075]
实验是用geforce gtx 1080ti 11g gpu和3.70g intel i9-10900k cpu的电脑上，在 pytorch 1.8对本发明进行训练。在pavia university、salinas和houston 2013数据集上利 用本发明进行分类，采用整体分类精度(oa)、平均分类精度(aa)和卡帕系数 (kappa)作为衡量指标，每次试验运行10次，取平均值得到结果为(oa：所有被样本 中被正确分类的比例；aa：每一类被正确分类比例的平均值；kappa：表述被正确分类 的一致性。)
[0076]
表2:三个标准数据集实验结果
[0077] pavia universitysalinashouston 2013oa(％)98.62
±
0.7698.65
±
0.2894.87
±
0.76aa(％)98.38
±
0.9299.05
±
0.1595.70
±
0.52kappa0.980.980.94
[0078]
表2三个标准数据集结果表明本发明对各数据集都具有良好的分类效果，对不同 数据集都具有较好的适应性，达到了很高的分类精度。

技术特征：
1.一种基于多感受野图注意力网络的高光谱图像分类方法，具有超像素立方体构造多感受野图和卷积神经网络，其特征在于：通过使用无监督主成分分析(pca)方法和简单线性迭代聚类(slic)，将原始高光谱图像(hsi)准确地划分为自适应局部区域；采用双层1d卷积神经网络(cnn)提取像素的光谱特征减少需要计算的节点数，抑制原始hsi的噪声；构造基于超像素立方体的多感受野图；利用多特征注意力模块提取局部节点特征和边特征并采用图形注意网络学习两个特征的重要系数；利用特征融合注意力模块融合各感受野节点-边特征，给出了分类节点的特征,最后，利用交叉熵损失对图像特征进行解释，得到每个像素的标签，具体包括如下步骤：步骤1：构建光谱空间转换模块步骤2：构建频域转换模块：步骤3：构建多特征注意力模块步骤4：构建多感受野模块步骤5：特征融合注意力和决策模块步骤6：损失函数和模型训练。2.根据权利要求1所述的一种基于多感受野图注意力网络的高光谱图像分类，其特征在于：步骤1中所述的“构建光谱空间转换模块”具体为：给定hsi立方体i
b
＝{x1,x2,
…
,x
m
}，包含个像素，b个波段，其中h分别表示高光谱图像空间宽度和高度；为提高计算效率，利用主成分分析方法(pca)进行降维，并选择第一主分量生成降维图像具有m个像素和b个波段，其中b<<b、r表示降维；然后采用slic将像素划分为超像素，局部超像素hsi可以用数学表达式表示为：其中表示包含n
i
个像素的超像素，k是超像素的总数；超级像素中的像素具有很强的光谱空间相关性；在本发明方法中，将超像素作为图的节点；通过控制超像素数k，可以控制图的规模，降低算法的计算复杂度。3.根据权利要求1所述的一种基于多感受野图注意力网络的高光谱图像分类，其特征在于：步骤2中所述的“构建频域转换模块”具体为：步骤2.1：为了为所提出的方法提取鉴别性和鲁棒性的光谱特征，提供一种光谱变换器，采用两层1
×
1cnn核来提取每个频带中单个像素的光谱值，并且在所提出的方法中，空间位置p0处像素的光谱特征向量可以写成：其中，p0＝(x，y)是像素在hsi中的空间位置，x
i
(p0)表示像素在第i光谱中的空间位置p0处的光谱值；步骤2.2：在第b频谱段l卷积层的输出特性为其中和分别是可训练权重(1
×
1卷积核)和偏差，σ(
·
)为激活功能，即relu；步骤2.3：为了显示像素和超级像素之间的对应关系，构建了关联矩阵
具体而言，m可以计算为其中x
i
是i
b
的第i个像素，
″
展平”(hsi)表示高光谱图像在空间维度中的展平操作，如等式(4)所述，可以实现空间像素和超级像素之间的映射；步骤2.4：最后，将每个超像素的平均光谱特征作为一个节点特征向量，图形节点特征可以数学表示为其中h
i
是第i个节点特征向量，n
i
表示超级像素中包含的像素数量，是如等式(5)所示的像素的光谱特征向量。4.根据权利要求1所述的一种基于多感受野图注意力网络的高光谱图像分类，其特征在于：步骤3中所述的“构建多特征注意力模块”，多特征注意力可以分为三个部分，即邻居节点注意力、边注意注意力和特征融合注意力；这三个部分的具体细节如下：步骤3.1：邻居节点注意力为了聚合邻居节点的信息，本模块采用一种多层图注意机制，可以得到分类节点的邻居节点注意力系数，第l卷积层的输出可计算为经过多层卷积之后，n
i
可以被转换为以下形式，即其中
←
表示赋值符号，i是节点n的第i跳邻居，k表示节点n的第i跳邻居中的邻居节点数，表示n
ik
的重要系数；n
i
是中心节点n的邻居节点特征，根据式(7)，n
i
可分解为相邻节点特征的线性和；步骤3.2：边注意力边缘包含丰富的语义信息。然而，大多数图注意力网络只关注相邻节点的聚合，缺乏边缘特征的提取；受图卷积中计算边的启发，本步骤引入高斯距离a
ij
来定义节点之间的关系，即其中h
i
和h
j
表示节点i，j的光谱特征(通过等式(5)计算)，两个节点之间的欧氏距离表示为||h
i-h
j
||2,表示h
j
的t跳邻居节点集，γ表示经验集为0.2；与式(6)类似，边注意力中第l卷积层的输出可以表示为其中表示边注意力中第l-1卷积层的输出，表示边注意力的学习注意力系数，a
i
可以转化为其中a
i
是中心节点n的第i跳边特征，表示a
ik
的重要系数；步骤3.3：特征融合注意力为了综合利用边和节点特征，提出了特征融合注意力，对上述注意力模块提取的特征进行自适应融合，n的数学表达式可表示为其中和分别表示相邻节点和边的重要系数；如上所述，质心节点n最终可以表示为其中α
i
和β
i
分别表示n
ik
和a
ik
的权重系数。5.根据权利要求1所述的一种基于多感受野图注意力网络的高光谱图像分类，其特征在于：步骤4中所述的“构建多感受野模块”具体步骤如下：为了提取hsi的全局信息，设计了一种多分支感受野聚合机制；多感受野模块可以避免低阶跃点的负面影响，并学习hsi的远程特征信息；在分支s中，节点n的感受野可以形成为r
i
(n)＝r
i-1
(n)∪r1ꢀꢀꢀꢀꢀꢀꢀ
(13)其中r1(n)是节点n的1跳邻居的集合，r0(n)＝n；分支i中中心节点n的特征最终可以表示为其中i是节点n的第i跳邻居。6.根据权利要求1所述的一种基于多感受野图注意力网络的高光谱图像分类，其特征在于：步骤5中所述的“特征融合注意力和决策模块”具体如下：最后采用图形注意融合多尺度感受野特征。中心节点n的输出特征o可以计算为o＝σ(∑
i∈s
e
i
·
w
t
n
i
)
ꢀꢀꢀꢀꢀ
(15)其中e
i
表示分支i中特征的重要系数，s是多尺度数，w是可训练权重，σ是激活函数，即leakyrelu；为了确定每个像素的标签，使用softmax分类器对输出特征o进行分类，即7.根据权利要求1所述的一种基于多感受野图注意力网络的高光谱图像分类，其特征在于：步骤6中所述的“损失函数和模型训练”具体如下：采用交叉熵函数来惩罚网络输出与原始标记标签之间的差异，即
其中y
g
是标签集合；c表示类的数量，y
zf
是训练标签矩阵；采用端到端的训练，并采用adam更新发明的网络参数。

技术总结
本发明涉及一种多感受野图注意力网络的高光谱图像分类方法。通过使用无监督主成分分析方法和简单线性迭代聚类，将原始高光谱图像准确地划分为自适应局部区域；采用双层卷积神经网络提取像素的光谱特征减少需要计算的节点数，抑制原始高光谱图像噪声；构造基于超像素立方体的多感受野图；利用多特征注意力模块提取局部节点特征和边特征并采用图形注意网络学习两个特征的重要系数；利用特征融合注意力模块融合各感受野节点-边特征，给出了分类节点的特征,最后利用交叉熵损失对图像特征进行解释得到每个像素的标签，使高光谱图像正确分类。与现有技术相比，能够自动提取高光谱特征并完成分类，分类正确率达到93％以上。分类正确率达到93％以上。分类正确率达到93％以上。


技术研发人员：丁遥 张志利 赵晓枫 蔡伟 阳能军
受保护的技术使用者：中国人民解放军火箭军工程大学
技术研发日：2021.09.29
技术公布日：2022/3/8