一种高分辨率遥感影像的场景分类方法及装置

1.本发明涉及计算机遥感影像处理领域，具体涉及一种高分辨率遥感影像的场景分类方法及装置。


背景技术：

2.随着遥感技术的飞速发展，遥感影像分辨率快速提升，同时，数据量也成几何级数增长。针对大量的高分辨率遥感影像，传统的基于像元的分类解译已转变为基于场景的语义理解。遥感影像的场景分类方法是通过影像中的主要内容判断场景的类别，并依据给定的语义标记对影像进行分类，进而实现精准的高层语义理解。目前，高分辨率遥感影像的场景分类方法已广泛应用于城市规划、土地利用、环境污染检测以及军事目标检测等众多领域，体现出重要的实用价值，并引起了众多研究者的广泛关注。然而，现有的场景分类方法中存在的场景影像特征信息提取不充分，地理实体空间信息不全面的问题。


技术实现要素：

3.有鉴于此，本发明实施例提供了一种高分辨率遥感影像的场景分类方法及装置，解决了现有场景分类方法中存在的场景影像特征信息提取不充分，地理实体空间信息不全面的问题。
4.根据第一方面，本发明实施例提供了一种高分辨率遥感影像的场景分类方法，包括：
5.获取高分辨率的遥感场景影像；
6.对各个所述遥感场景影像进行预处理，确定对应的目标场景影像；
7.利用分类模型分别对各个所述目标场景影像进行类别预测，输出对应的所述遥感场景影像的预测类别。
8.本发明实施例提供的高分辨率遥感影像的场景分类方法，利用深度学习模型进行高分辨率遥感场景影像特征提取，提升网络收敛的速度，改善方法的分类性能；通过两次特征聚合获取多层次中间特征，增强分类中影像特征的表现力和鲁棒性；通过卷积特征的矢量化，表征地理实体的位置、尺寸、形变等多种空间信息，弥补卷积特征中地理实体空间信息欠考虑的不足之处，并通过多次动态路由过程的迭代实现模型低层元组与高层元组之间的空间信息传递以及模型参数的优化；基于预测概率判断场景影像所属的类别。有利于区分复杂的场景类别，进而提高场景影像的整体分类精度。
9.结合第一方面，在第一方面第一实施方式中，所述对各个所述遥感场景影像进行预处理，确定对应的目标场景影像，包括：
10.获取目标尺寸；
11.按照所述目标尺寸对各个所述遥感场景影像进行裁剪，确定相同尺寸的影像，其中相同尺寸的影像具有rgb三个颜色通道。
12.结合第一方面，在第一方面第二实施方式中，所述利用分类模型分别对各个所述
目标场景影像进行类别预测，输出对应的所述遥感场景影像的预测类别，包括：
13.对分类模型进行训练，确定目标分类模型；
14.利用所述目标分类模型对各个所述目标场景影像进行特征提取，确定多个场景的矢量特征；
15.将多个所述矢量特征进行融合，确定目标特征；
16.利用所述目标特征计算各个所述目标场景影像的类别的预测概率，输出对应的所述遥感场景影像的预测类别。
17.结合第一方面第二实施方式，在第一方面第三实施方式中，所述对分类模型进行训练，确定目标分类模型，包括：
18.通过所述目标特征构造损失函数，并利用梯度下降法进行参数优化；
19.根据优化后的参数及深度学习模型，确定目标分类模型。
20.结合第一方面第二实施方式，在第一方面第四实施方式中，所述利用所述目标分类模型对各个所述目标场景影像进行特征提取，确定多个场景的矢量特征，包括：
21.将所述目标分类模型的多个卷积层进行池化操作，得到具有相同尺寸的多个中间特征；
22.依次将多个所述中间特征进行聚合，确定卷积特征；
23.构建低层神经元组，将卷积特征转化为低层矢量表征，所述低层矢量表征用于标识地理实体空间信息；
24.构建高层神经元组，基于动态路由机制实现低层神经元组和高层神经元组之间的信息传递，并基于所述低层矢量表征确定高层的矢量特征。
25.结合第一方面第四实施方式，在第一方面第五实施方式中，所述高层神经元组的个数与预设预测类别的个数相同。
26.结合第一方面第四实施方式，在第一方面第五实施方式中，所述方法还包括：
27.所述高层元组的输入向量是所有低层元组特征向量的加权和；
28.所述高层神经元组的输出向量的长度代表场景影像类别的预测概率。
29.根据第二方面，本发明实施例提供的高分辨率遥感影像的场景分类装置，包括：
30.第一处理模块，用于获取高分辨率的遥感场景影像；
31.第二处理模块，用于对各个所述遥感场景影像进行预处理，确定对应的目标场景影像；
32.第三处理模块，用于利用分类模型分别对各个所述目标场景影像进行类别预测，输出对应的所述遥感场景影像的预测类别。
33.根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的高分辨率遥感影像的场景分类方法。
34.根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的高分辨率遥感影像的场景分类方法。
附图说明
35.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1是根据本发明实施例的高分辨率遥感影像的场景分类方法的流程图；
37.图2是根据本发明优选实施例的高分辨率遥感影像的数据集示意图；
38.图3是根据本发明实施例的变压器非电量保护的动作逻辑示意图；
39.图4是根据本发明实施例的低层神经元组与和高层神经元组之间的连接方式示意图；
40.图5是根据本发明实施例的高分遥感影像场景数据集上的应用效果示意图；
41.图6是根据本发明实施例与不同分类方法之间的分类精度及其误差对比情况图；
42.图7是根据本发明实施例的高分辨率遥感影像的场景分类装置示意图；
43.图8是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
44.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.随着遥感技术的飞速发展，遥感影像分辨率快速提升，同时，数据量也成几何级数增长。针对大量的高分辨率遥感影像，传统的基于像元的分类解译已转变为基于场景的语义理解。高分遥感影像场景分类旨在通过影像中的主要内容判断场景的类别，并依据给定的语义标记对影像进行分类，进而实现精准的高层语义理解。目前，高分遥感影像场景分类已广泛应用于城市规划、土地利用、环境污染检测以及军事目标检测等众多领域，体现出重要的实用价值，并引起了众多研究者的广泛关注。然而，由于场景构成比较复杂，遥感影像场景分类仍然极具挑战性。
46.在过去的数十年间，研究者已经提出了多种高分遥感影像场景分类方法。这些分类方法主要包含特征提取和分类器设计两个主要步骤，即首先进行场景图像特征提取，接着将提取的特征输入设计的分类器中进行场景分类。根据高分遥感影像场景分类方法所使用的特征，可以将其分为以下三类：(1)基于低层特征的分类方法。研究者依赖于领域知识设计各种特征提取算子，如颜色直方图、局部二值模式、方向梯度直方图、灰度共生矩阵、尺度不变特征变换等，获取颜色、纹理、形状、空间结构等低层特征，进而基于提取的低层特征进行分类。这类方法广泛应用于遥感影像场景分类研究的早期。(2)基于中层特征的分类方法。在底层场景特征提取的基础上，采用视觉词袋模型、空间金字塔匹配、局部特征聚合描述符等方法对低层特征进行编码，进一步提取更具判别能力的中层特征，并用于场景分类。(3)基于深度特征的分类方法。近年来，多种深度学习模型尤其是卷积神经网络(cnn)被广泛的应用于高分遥感影像场景分类。同其它特征提取方法相比，深度学习模型具有更强的特征表征能力，可以有效提取场景图像的深层次抽象特征，并显著提升高分遥感影像场景
分类的性能。
47.现有技术中利用cnn来精确辨识高分遥感影像场景的类别，这是深度学习在高分遥感影像场景分类中的首次应用，从此场景分类的研究进入了一个新的阶段。cnn在高分遥感场景分类中体现出强大的优势，但是cnn最大的缺陷就是它不能从整幅图像和部分图像中识别出姿势、纹理和变化等空间信息。因此，如何有效弥补cnn的缺陷，充分利用高分遥感场景影像的空间信息，进而提高高分遥感影像场景分类的精度，具有重要的研究意义。
48.在本实施例中提供了一种高分辨率遥感影像的场景分类方法，可用于电子设备，例如电脑、手机、平板电脑等。图1是根据本发明实施例的高分辨率遥感影像的场景分类方法的流程图，如图1所示，该流程包括如下步骤：
49.s11，获取高分辨率的遥感场景影像。
50.其中，利用现有技术手段获取高分辨率的遥感场景影像，具体地获取手段可以利用现有的任何手段，本实施例对获取手段不做任何限制。本实施例中如图2所示给出了具体性能测试的高分辨率的遥感场景影像的数据集。
51.s12，对各个遥感场景影像进行预处理，确定对应的目标场景影像。
52.本实施例中，对获取到的各个遥感场景影像进行预处理，保证所有输入模型的数据格式的统一，提高模型的准确性以及效率，最终确定各个遥感场景影像对应的目标场景影像。
53.s13，利用分类模型分别对各个目标场景影像进行类别预测，输出对应的遥感场景影像的预测类别。
54.在实际应用中，利用分类模型分别对各个不同的目标场景影像进行最终的类别预测，其中，分类模型是提前训练好的，例如如图3所示的vgg-16网络，利用vgg-16进行高分辨率遥感影像特征提取，对vgg-16的参数进行预训练，提高网络收敛的速度。需要说明的是，本实施例仅以上述网络模型为例进行说明，具体的可以根据实际需求进行网络模型的选择，本实施例并不以此为限。
55.本实施例提供的高分辨率遥感影像的场景分类方法，利用深度学习模型进行高分辨率遥感场景影像特征提取，提升网络收敛的速度，改善方法的分类性能；通过两次特征聚合获取多层次中间特征，增强分类中影像特征的表现力和鲁棒性；通过卷积特征的矢量化，表征地理实体的位置、尺寸、形变等多种空间信息，弥补卷积特征中地理实体空间信息欠考虑的不足之处，并通过多次动态路由过程的迭代实现模型低层元组与高层元组之间的空间信息传递以及模型参数的优化；基于预测概率判断场景影像所属的类别。有利于区分复杂的场景类别，进而提高场景影像的整体分类精度。
56.在另一实施例中，还提供了一种高分辨率遥感影像的场景分类方法，该流程包括如下步骤：
57.s21，获取高分辨率的遥感场景影像。
58.详细参见步骤s11，本实施例不再赘述。
59.s22，对各个遥感场景影像进行预处理，确定对应的目标场景影像。
60.本实施例中，上述步骤s22具体还包括：
61.s221，获取目标尺寸。在实际应用中，首先确定最终分类模型输入数据的尺寸，以保证所有数据的一致性。
62.s222，按照目标尺寸对各个遥感场景影像进行裁剪，确定相同尺寸的影像，其中相同尺寸的影像具有rgb三个颜色通道。
63.本实施例中，对遥感场景影像按照目标尺寸进行裁剪，将裁剪后的相同尺寸的影像作为模型的输入，其中相同尺寸的影像为具有rgb三个颜色通道的高分遥感场景影像。
64.s23，利用分类模型分别对各个目标场景影像进行类别预测，输出对应的遥感场景影像的预测类别。
65.详细参见步骤s13，本实施例不再赘述。
66.本实施例中提供的一种高分辨率遥感影像的场景分类方法，利用深度学习模型进行高分辨率遥感场景影像特征提取，提升网络收敛的速度，改善方法的分类性能；通过两次特征聚合获取多层次中间特征，增强分类中影像特征的表现力和鲁棒性；通过卷积特征的矢量化，表征地理实体的位置、尺寸、形变等多种空间信息，弥补卷积特征中地理实体空间信息欠考虑的不足之处，并通过多次动态路由过程的迭代实现模型低层元组与高层元组之间的空间信息传递以及模型参数的优化；基于预测概率判断场景影像所属的类别。有利于区分复杂的场景类别，进而提高场景影像的整体分类精度。
67.在另一实施例中，还提供了一种高分辨率遥感影像的场景分类方法，该流程包括如下步骤：
68.s31，获取高分辨率的遥感场景影像。
69.详细参见步骤s11，本实施例不再赘述。
70.s32，对各个遥感场景影像进行预处理，确定对应的目标场景影像。
71.详细参见步骤s12，本实施例不再赘述。
72.s33，利用分类模型分别对各个目标场景影像进行类别预测，输出对应的遥感场景影像的预测类别。
73.具体地，上述步骤s33具体还包括如下步骤：
74.s331，对分类模型进行训练，确定目标分类模型。
75.s332，利用目标分类模型对各个目标场景影像进行特征提取，确定多个场景的矢量特征。
76.本实施例中，上述步骤s331具体还包括：
77.(1)通过目标特征构造损失函数，并利用梯度下降法进行参数优化。
78.(2)根据优化后的参数及深度学习模型，确定目标分类模型。
79.利用优化后的参数对深度学习模型vgg-16进行参数更新，以确定最终的目标分类模型。
80.具体地，上述步骤s332还包括：
81.(1)将目标分类模型的多个卷积层进行池化操作，得到具有相同尺寸的多个中间特征。
82.(2)依次将多个中间特征进行聚合，确定卷积特征。
83.本实施例中，使用深度学习模型vgg-16进行高分遥感场景影像的特征提取，对vgg-16网络的参数进行预训练。将vgg-16的多个卷积层进行多次池化操作，得到具有相同尺寸的多个中间特征，依次将多个中间特征进行聚合，得到最终的卷积特征。
84.其中，将vgg-16的第3、4、5卷积池化组的最后一个卷积层conv3_3、conv4_3、
conv5_3进行平均池化，得到具有相同尺寸的新的中间特征，这些特征是原有特征的补充，分别记作x1∈rh×w×
d1
、x2∈rh×w×
d2
和x3∈rh×w×
d3
。之后，依次将得到的特征进行聚合，得到新的特征，记作af1：
85.af1＝[x1；x2；x3]∈rh×w×
(d1+d2+d3)
ꢀꢀꢀ
(1)
[0086]
对聚合后的特征af1进行1
×
1的卷积和relu操作，实现聚合特征跨通道之间的信息融合，增加不同通道之间的非线性交互作用。将卷积核的个数设为n，此时af1的维度由d1+d2+d3变为n。将af1与卷积层conv5-3最大池化后的特征x4∈rh×w×
d4
进行聚合，特征x4的维度为l＝n+d4，特征聚合模块最终输出的聚合卷积特征af2为：
[0087]
af2＝[af1；x4]∈rh×w×
l
ꢀꢀꢀ
(2)
[0088]
(3)构建低层神经元组，将卷积特征转化为低层矢量表征，低层矢量表征用于标识地理实体空间信息。
[0089]
其中，构建低层神经元组，将卷积特征转化为地理实体空间信息的低层矢量表征。构建由s1个神经元组成的低层神经元组，将聚合卷积特征af2转化为s1维的矢量表征。低层向量元组的个数为h
×w×
l/s1。
[0090]
(4)构建高层神经元组，基于动态路由机制实现低层神经元组和高层神经元组之间的信息传递，并基于低层矢量表征确定高层的矢量特征。
[0091]
其中，高层神经元组的个数与预设预测类别的个数相同。高层元组的输入向量是所有低层元组特征向量的加权和；高层神经元组的输出向量的长度代表场景影像类别的预测概率。
[0092]
具体地，低层元组和高层元组的信息传递通过动态路由机制实现，具体路由机制如图4所示。在动态路由连接中，低层元组i的输出向量记作ui，该元组对高层元组j的预测向量记作且
[0093][0094]wij
是权重矩阵，可以通过反向传播进行优化。所有低层元组都要对高层元组j进行预测，因此，高层元组j的输入向量sj是所有低层元组预测向量的加权和：
[0095][0096]
其中，c
ij
为耦合系数，在动态路由迭代过程中进行优化。c
ij
通过公式(5)计算得到，且元组i与高层中所有元组的耦合系数之和为1。
[0097][0098]bij
表示低层元组i与高层元组j耦合的对数先验概率。
[0099]
高层元组的输出向量的长度代表场景影像类别的预测概率，因此，为了保证向量的长度不超过1，需要用到非线性挤压函数squash。该函数使得短向量几乎收缩到0，长向量收缩到略小于1。高层元组j通过对输入向量sj进行挤压，得到输出向量vj：
[0100][0101]
另外，动态路由机制中，对数概率b
ij
的更新依赖于向量vj和向量的一致性，即两个向量具有较大的内积。因此，b
ij
的更新公式如下：
[0102][0103]
本实施例中，定义高层元组层中每个元组k的损失函数lk，基于定义的损失函数优化模型的参数。lk的定义如下：
[0104]
lk＝tk·
max(0,m
+-||vk||)2+λ
·
(1-tk)
·
max(0,||vk||-m-)2ꢀꢀꢀ
(8)
[0105]
当对应的类别k存在时，tk的值为1。训练过程中，总的损失为该层所有元组的损失之和。m+，m-，λ为超参数，需要针对输入的场景影像数据进行设置。
[0106]
输出层通过高层元组层输出的向量vj的长度来判断场景影像所属的类别ck。向量vj定义如下：
[0107]
vj＝(x1,x2,...,x
s2
)
ꢀꢀꢀ
(9)
[0108]
向量vj的长度定义如下：
[0109][0110]
比较多个输出向量长度的大小，输出长度最大的向量对应的类别为模型的预测类别ck。
[0111]
在实际应用中，具有rgb三个颜色通道的高分遥感场景影像数据集，首先对各个场景影像进行随机裁剪，输入大小为224
×
224
×
3。图3的输入模块以飞机场场景影像为例，展示了数据集的输入过程。该场景影像来源于图2所示的数据集。该数据集中包括21个场景类别，每个场景类别包含100幅大小为256
×
256，空间分辨率为0.3m的影像。
[0112]
针对输入的高分遥感场景影像，利用vgg-16进行卷积特征提取。vgg-16的卷积核的大小均为3
×
3，每个卷积池化组中均包含一个最大池化层，池化操作窗口的大小为2
×
2，步长为2。将vgg-16的第3、4、5卷积池化组的最后一个卷积层conv3_3、conv4_3、conv5_3进行平均池化，得到具有相同尺寸的新的中间特征，这些特征是原有特征的补充，分别记作：x1,x2,x3。特征的维度分别为7
×7×
256，7
×7×
512和7
×7×
512。依次将得到的特征进行聚合，得到新的卷积特征，记作af1：
[0113]
af1＝[x1；x2；x3]∈r7×7×
1280
ꢀꢀꢀ
(11)
[0114]
对聚合后的特征af1进行1
×
1的卷积和relu操作，实现聚合特征跨通道之间的信息融合，增加不同通道之间的非线性交互用。将卷积核的个数设为2048，此时af1的维度由1280变为2048。
[0115]
将af1与卷积层conv5-3最大池化后的特征x4进行聚合，特征x4的维度为7
×7×
512，特征聚合模块最终输出的聚合卷积特征af2为：
[0116]
af2＝[af1；x4]∈r7×7×
2560
ꢀꢀꢀ
(12)
[0117]
通过构建低层元组层和高层元组层，实现卷积特征的矢量化。低层元组层用于描述场景影像中较小的地物，并编码地物的属性，提供地物属于某个场景类型的概率。高层元组层用于描述整个场景，并基于编码的属性判断场所属的类别。例如，对于火车站场景影像，低层元组用于描述站台、火车、铁轨、建筑物等场景的组成实体，并编码实体的属性。高层元组用于描述整个场景，并编码场景的属性。通过低层元组层和高层元组层之间的信息传递，矢量表征模块可以学习场景影像中的较小地物与整体场景之间的关系。
[0118]
设定低层元组层每个元组包含的神经元的个数为8，构建包含15680个元组的低层元组层，其中任一元组i对应卷积特征af2中长度为8维的特征向量，即元组i的输出向量，记作ui。设定高层元组层每个元组的维数的取值为16，元组的个数为21。构建包含21个元组的高层元组层，其中任意一个元组j对应16维的特征向量。
[0119]
计算低层元组对高层元组的预测向量，即高层元组的输入向量。图4阐示了低层神经元组与和高层神经元组之间的连接方式。低层元组i对高层元组j的预测向量记作且
[0120][0121]wij
是权重矩阵，可以通过反向传播进行优化。所有低层元组都要对高层元组j进行预测，因此，高层元组j的输入向量sj是所有低层元组预测向量的加权和：
[0122][0123]
其中，c
ij
为耦合系数，在动态路由迭代过程中进行优化。c
ij
通过公式(15)计算得到，且元组i与高层中所有元组的耦合系数之和为1。
[0124][0125]bij
表示低层元组i与高层元组j耦合的对数先验概率，初始值设为0。
[0126]
对高层元组的输入向量进行压缩，得到高层元组的输出向量。高层元组的输出向量的长度代表场景影像类别的预测概率，因此，为了保证向量的长度不超过1，需要用非线性挤压函数squash，使得短向量几乎收缩到0，长向量收缩到略小于1。高层元组j通过对输入向量sj进行挤压，得到输出向量vj：
[0127][0128]
对矢量表征模块进行参数更新。矢量表征模块中，对数概率b
ij
的更新依赖于向量vj和向量的一致性，即两个向量具有较大的内积。因此，b
ij
的更新公式如下：
[0129][0130]
公式(13)-(17)构成了计算vj的一个完整的动态路由过程。更新了对数概率b
ij
后，耦合系数c
ij
根据公式(5)进行更新。矢量表征模块进行参数更新之后，重新计算低层元组对高层元组的预测向量，进行多次动态路由过程的迭代，直到迭代次数满足预设要求，实现矢量表征模块参数的更新，完成地物与整体场景之间空间信息的传递。
[0131]
构造损失函数，高层元组层中每个元组k的损失函数lk计算如下：
[0132]
lk＝tk·
max(0,m
+-||vk||)2+λ(1-tk)
·
max(0,||vk||-m-)2ꢀꢀꢀ
(18)
[0133]
当对应的类别k存在时，tk的值为1。训练过程中，总的损失为该层所有元组的损失之和。超参数m+，m-，λ的值分别为0.9，0.1和0.5。
[0134]
输出层通过高层元组层输出的向量vj(公式19)的长度(公式20)来判断预测的场景影像所属的类别ck。
[0135]
vj＝(x1,x2,...,x
s2
)
ꢀꢀꢀ
(19)
[0136][0137]
比较多个输出向量长度的大小，长度最大的矢量对应的类别为场景影像的预测类别ck。
[0138]
图5混淆矩阵显示了本实施例在高分遥感影像场景数据集上的应用效果。由图5混淆矩阵可以看出，本发明的预测精度高达99.5％。在21个场景类别中，有19个场景类别的分类精度为100％，其余2个场景类别建筑物和中密度住宅区的预测精度为95％。模型将5％的类别为建筑物的场景影像预测为密集住宅区，将5％的类别为中密度住宅区的场景影像预测为密集住宅区。预测错误的原因在于建筑物、中密度住宅区和密集住宅区这三类场景影像的构成实体以房屋为主，且光学影像和空间结构特征都非常相似，极易造成预测结果的混淆。
[0139]
为了进一步验证本发明的有效性，将本发明与10种场景分类方法进行了对比。对比方法中，googlenet,caffenet,vgg-vd-16,fine-tunedvgg-16属于经典的基于cnn的方法；lgfbovw,fusion by addition,two-stream fusion,mscp和facnn属于基于特征聚合的方法；cnn-capsnet属于结合cnn和矢量表征的方法。本发明与对比方法的分类精度对比情况如表1所示。由表1可以看出，本发明的平均分类精度比经典的基于cnn的方法中效果最好的fine-tunedvgg-16方法高约2％；比基于特征聚合的方法中效果最好的fcnnn方法高0.44％；比cnn-capsnet方法高0.44％。
[0140]
表1 本发明与其他方法的分类精度(％)对比表
[0141]
方法分类精度googlenet94.31
±
0.89caffenet95.02+0.81vgg-vd-1695.21
±
1.20fine-tuned vgg-1697.14
±
0.22lgfbovw96.88
±
1.32fusion by addition97.42
±
1.79two-stream fusion98.02+1.03mscp98.36
±
0.58facnn98.81
±
0.24cnn-capsnet98.81
±
0.22
interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。通信总线602可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0152]
其中，存储器604可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：ram)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：hdd)或固态硬盘(英文：solid-state drive，缩写：ssd)；存储器604还可以包括上述种类的存储器的组合。
[0153]
其中，处理器601可以是中央处理器(英文：central processing unit，缩写：cpu)，网络处理器(英文：network processor，缩写：np)或者cpu和np的组合。
[0154]
其中，处理器601还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：asic)，可编程逻辑器件(英文：programmable logic device，缩写：pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文：complexprogrammable logic device，缩写：cpld)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：fpga)，通用阵列逻辑(英文：generic array logic,缩写：gal)或其任意组合。
[0155]
可选地，存储器604还用于存储程序指令。处理器601可以调用程序指令，实现如本技术图实施例中所示的高分辨率遥感影像的场景分类方法。
[0156]
本发明实施例还提供了一种非暂态计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的高分辨率遥感影像的场景分类方法。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
[0157]
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

技术特征：
1.一种高分辨率遥感影像的场景分类方法，其特征在于，包括：获取高分辨率的遥感场景影像；对各个所述遥感场景影像进行预处理，确定对应的目标场景影像；利用分类模型分别对各个所述目标场景影像进行类别预测，输出对应的所述遥感场景影像的预测类别。2.根据权利要求1所述的方法，其特征在于，所述对各个所述遥感场景影像进行预处理，确定对应的目标场景影像，包括：获取目标尺寸；按照所述目标尺寸对各个所述遥感场景影像进行裁剪，确定相同尺寸的影像，其中相同尺寸的影像具有rgb三个颜色通道。3.根据权利要求1所述的方法，其特征在于，所述利用分类模型分别对各个所述目标场景影像进行类别预测，输出对应的所述遥感场景影像的预测类别，包括：对分类模型进行训练，确定目标分类模型；利用所述目标分类模型对各个所述目标场景影像进行特征提取，确定多个场景的矢量特征；将多个所述矢量特征进行融合，确定目标特征；利用所述目标特征计算各个所述目标场景影像的类别的预测概率，输出对应的所述遥感场景影像的预测类别。4.根据权利要求3所述的方法，其特征在于，所述对分类模型进行训练，确定目标分类模型，包括：通过所述目标特征构造损失函数，并利用梯度下降法进行参数优化；根据优化后的参数及深度学习模型，确定目标分类模型。5.根据权利要求3所述的方法，其特征在于，所述利用所述目标分类模型对各个所述目标场景影像进行特征提取，确定多个场景的矢量特征，包括：将所述目标分类模型的多个卷积层进行池化操作，得到具有相同尺寸的多个中间特征；依次将多个所述中间特征进行聚合，确定卷积特征；构建低层神经元组，将卷积特征转化为低层矢量表征，所述低层矢量表征用于标识地理实体空间信息；构建高层神经元组，基于动态路由机制实现低层神经元组和高层神经元组之间的信息传递，并基于所述低层矢量表征确定高层的矢量特征。6.根据权利要求5所述的方法，其特征在于，所述高层神经元组的个数与预设预测类别的个数相同。7.根据权利要求5所述的方法，其特征在于，还包括：所述高层元组的输入向量是所有低层元组特征向量的加权和；所述高层神经元组的输出向量的长度代表场景影像类别的预测概率。8.一种高分辨率遥感影像的场景分类装置，其特征在于，包括：第一处理模块，用于获取高分辨率的遥感场景影像；第二处理模块，用于对各个所述遥感场景影像进行预处理，确定对应的目标场景影像；
第三处理模块，用于利用分类模型分别对各个所述目标场景影像进行类别预测，输出对应的所述遥感场景影像的预测类别。9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的高分辨率遥感影像的场景分类方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的高分辨率遥感影像的场景分类方法。

技术总结
本发明公开一种高分辨率遥感影像的场景分类方法及装置，方法包括：获取高分辨率的遥感场景影像；对各个遥感场景影像进行预处理，确定对应的目标场景影像；利用分类模型分别对各个目标场景影像进行类别预测，输出对应的遥感场景影像的预测类别。本发明通过两次特征聚合获取多层次中间特征，增强分类中影像特征的表现力和鲁棒性；并通过多次动态路由过程的迭代实现模型低层元组与高层元组之间的空间信息传递以及模型参数的优化；基于预测概率判断场景影像所属的类别。有利于区分复杂的场景类别，进而提高场景影像的整体分类精度。进而提高场景影像的整体分类精度。进而提高场景影像的整体分类精度。


技术研发人员：曹峰 杨宇浩 李德玉 钱宇华 白鹤翔 王文剑
受保护的技术使用者：山西大学
技术研发日：2021.12.15
技术公布日：2022/3/8