基于条件掩码增强遥感图像道路连通性的方法及系统

本发明涉及图像处理，特别是一种基于条件掩码增强遥感图像道路连通性的方法及系统。

背景技术：

1、遥感图像语义分割是对遥感技术获取的高分辨率图像进行像素级分类的过程，目的是理解图像中的地物类型及位置。在这一任务中，不论是城市还是乡村的地物场景，都离不开对路网的提取，因此对道路的精确分割至关重要。道路分割可以帮助交通管理部门监测和分析路网状况，识别交通拥堵点，优化交通信号控制，提高道路使用效率。此外，通过监测遥感图像中的道路扩展和变化，可以评估人类活动对自然环境的影响，为生态保护和可持续发展策略的制定提供支持。然而，对高分辨率遥感图像中道路的提取往往存在以下四方面问题。

2、首先，道路通常嵌入在极其复杂的背景中，包括建筑物、树木、车辆、行人等多种对象元素，这些元素的存在大大增加了分割任务的难度。

3、第二，卫星获取图像时的照明条件对遥感图像中道路的可视化有显著影响。自然光照条件(如日照强度、时间、云层遮挡)的变化会影响图像的亮度和对比度，进而影响道路的识别和分割。

4、第三，在高密度的道路环境中，道路之间的空间间隔小，相邻道路可能在遥感图像中相互融合，难以区分。

5、最重要的是，道路磨损、修补或不同材料的使用会在图像中造成视觉上的断裂，而街道网络的不规则性，例如死胡同、环形交叉路口或多层立交桥等同样使得图像中连续的道路网络出现断裂。这样断裂的情况导致提取到的道路不能应用于遥感图像地图检测和路况分析。

技术实现思路

1、有鉴于此，本发明的目的在于提供基于条件掩码增强遥感图像道路连通性的方法，该方法利用一种条件性掩码的语义分割优化框架来增强遥感道路预测图像中的连通性。该方法提供了一种针对道路断连问题的语义分割训练优化框架。

2、为达到上述目的，本发明提供如下技术方案：

3、本发明提供的基于条件掩码增强遥感图像道路连通性的方法，包括以下步骤：

4、步骤s1、选择基础语义分割网络，训练该网络至收敛，将该网络的推理结果作为预测图像；

5、步骤s2、对步骤s1中获取的预测图像按照不同策略条件性掩码，去除预测图像中的结构信息；

6、步骤s3、设计通道融合层，将步骤s2获取的条件掩码预测图与输入原图像融合为带有清晰道路边界语义信息的三通道图像；

7、步骤s4、将步骤s3得到的三通道图像作为同一基础语义分割网络的训练集输入，利用区域连续性损失和焦点损失计算损失并反向传播、更新参数，直到网络收敛，得到最佳语义分割算法模型；

8、步骤s5、利用步骤s4训练好的卷积语义分割网络进行预测，得到的预测图像作为步骤s2的输入，重复步骤s2-s5，得到最终连续性优秀的语义分割结果图像。

9、进一步，步骤s1中进行基础语义分割网络训练的具体操作为：

10、步骤s11、从总样本随机选取基础语义分割网络的训练样本和验证样本；将总样本随机选取百分之八十作为网络的训练样本，百分之二十作为验证样本；

11、步骤s12、遍历全部训练样本，随机选取三种增强方法中的一种对图片进行处理并加入总训练样本中；

12、步骤s13、利用损失函数迭代训练基础语义分割网络并更新梯度，直到网络相对收敛。

13、进一步，步骤s2中按照不同策略条件性掩码具体操作为：

14、步骤s21、分别选择空间领域及道路骨架领域两个方面对标签图像进行条件掩码；

15、步骤s22、利用随机掩码、逐块掩码及棋盘掩码三个策略校编预测图像；

16、步骤s23、提取预测图像中的道路骨架，随机选择道路骨架中像素点并利用矩阵块遮盖该像素点相应道路；

17、进一步，步骤s2中按照不同策略条件性掩码具体操作为：

18、步骤s21选择空间掩码策略旨在破坏道路的结构信息，促使模型从有限的信息中学习深层次表征。选择道路骨干掩码旨在模拟图像中各类道路损坏情景。

19、步骤s22选择随机掩码、逐块掩码及棋盘掩码三个策略。其中随机掩码将道路的标签图像根据像素大小平均划分成规则的不重叠小块，然后对每个小块进行采样，按照不同比例随机掩码其中的图像块；逐块掩码随机生成长宽比不同的矩形块与像素坐标，基于该坐标对标签图像掩码；棋盘掩码根据确定的网格大小和区域，生成一个覆盖整个图像的掩码网格。

20、步骤s23创建一个7×7大小的交叉性卷积核提取每条道路的骨架，接着从坐标点中选择在图像内部区域的骨架点，并随机生成矩形大小，最后在对应坐标上创造掩码。

21、进一步，步骤s3中具体融合操作为：

22、所述通道融合层由自适应多头注意力模块和带空洞卷积的全连接层组成，经过条件掩码的预测灰度图和输入原始rgb图像将作为通道融合层的两个输入分别通过卷积注意力机制模块，随后通过自注意力机制转为三通道图像；带空洞卷积的多层感知机自适应保留原始图像的空间信息，并为模型提供清晰的道路边界语义信息。

23、进一步，步骤s4中具体模型训练操作为：

24、步骤s41将经过通道融合层的三通道图像作为基础语义分割网络的输入；

25、步骤s42将基础语义分割网络初始化，重新训练该语义分割网络；

26、步骤s43利用区域连续性损失结合焦点损失更新模型权重直到网络收敛。

27、进一步，步骤s43中区域连续性损失计算流程为：

28、所述区域连续性损失首先利用形态学开闭运算及二值图像细化操作简化模型预测图像的道路结构并检测断点，计算每个断点间的欧氏距离更新权重图，使模型关注断开的道路区域。随后使用可微的soft-iou损失函数进行计算，并将其与权重图相乘，最终得到区域连续性损失。

29、进一步，步骤s5中迭代训练操作为：

30、步骤s51利用训练好的语义分割模型进行推理；

31、步骤s52将推理得到的预测图像进行条件性掩码；

32、步骤s53重复权利要求1所述步骤s3-s5，迭代5次训练，得到最终语义分割结果图像。

33、进一步，步骤s1中，获取共3216张分辨率为512×512的原始遥感图像，包括2种物类目标。

34、本发明提供的基于条件掩码增强遥感图像道路连通性的系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

35、本发明的有益效果在于：

36、本发明提供的基于条件掩码增强遥感图像道路连通性的方法，该方法能够有效提高语义分割网络的准确性，改善遥感预测图中道路断连的情况，是一种适用于任何卷积语义分割网络的基于条件掩码增强遥感图像道路连通性的方法。

37、本发明对预测图像进行条件性校编，去除道路分割中需要学习优化的信息，从而促使基础语义分割模型从有限的信息中学习深层表征。基于遥感图像空间的掩码(随机掩码、逐块掩码、网格掩码)将消除图像中大部分冗余，为模型提供更复杂的图像表示；基于遥感路网骨架的掩码能有效打破原始标签图像中的边界等结构信息，而很大程度上保留语义上下文信息。

38、本方法通过通道融合层将经过条件掩码的预测灰度图与输入原图融合，旨在拟合道路遮挡的场景并去除错误道路。通道融合层包括卷积注意力模块及多头自注意力，其中卷积注意力模块将分别保留灰度图和原图中精准的位置信息，建立长期的空间依赖关系；多头自注意力将连接两者的特征信息以增强道路边界的清晰性，实现结构信息交互。为了增强模型对预测图像中道路断点的关注度，模型将使用区域连续性损失与焦点损失更新参数。

39、本方法是一种通用框架，可以在任何基于卷积的语义分割网络训练时使用，提升网络在高分辨率遥感语义分割任务中的性能，针对遥感图像语义分割问题具有普适性。并且本方法基于卷积神经网络，能够更加高效地处理遥感图像，为城市规划、土地利用和环境监测提供精准的位置信息。

40、本方法提供的基于条件掩码增强遥感图像道路连通性的方法，该方法将基础语义分割网络经过训练后得到的预测图像进行编校掩码，去除特征图中某些结构信息。再将其作为一个额外的通道，通过通道融合层并入原始遥感图像中作为输入图像进行训练，以此将碎片化的道路连接起来。同时，本方法将提出的区域连续性损失与焦点损失结合，以增强网络对道路断连坐标像素的关注。本方法作为一种新的学习策略，通过在训练中恢复损坏的编码，使模型能够学习道路连接模式并去除错误的道路。

41、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

技术特征：

1.基于条件掩码增强遥感图像道路连通性的方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于条件掩码增强遥感图像道路连通性的方法，其特征在于，步骤s1中进行基础语义分割网络训练的具体操作如下：

3.根据权利要求1所述的基于条件掩码增强遥感图像道路连通性的方法，其特征在于，步骤s2中按照不同策略条件性掩码具体操作如下：

4.根据权利要求3所述的基于条件掩码增强遥感图像道路连通性的方法，其特征在于，步骤s2中按照不同策略条件性掩码具体操作如下：

5.根据权利要求1所述的基于条件掩码增强遥感图像道路连通性的方法，其特征在于，步骤s3中具体融合操作如下：

6.根据权利要求1所述的基于条件掩码增强遥感图像道路连通性的方法，其特征在于，步骤s4中语义分割算法模型训练操作如下：

7.根据权利要求6所述的基于条件掩码增强遥感图像道路连通性的方法，其特征在于，步骤s43中区域连续性损失计算流程如下：

8.根据权利要求1所述的基于条件掩码增强遥感图像道路连通性的方法，其特征在于，步骤s5中迭代训练操作如下：

9.根据权利要求1至8中任一项所述的基于条件掩码增强遥感图像道路连通性的方法，其特征在于，步骤s1中，获取共3216张分辨率为512×512的原始遥感图像，包括2种物类目标。

10.基于条件掩码增强遥感图像道路连通性的系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1至9任一项所述的方法。

技术总结
本发明公开了一种基于条件掩码增强遥感图像道路连通性的方法及系统，将原始语义分割网络的遥感道路预测图像作为额外监督。通过精准的道路骨干提取模块以及标签图像条件性掩码策略，为网络提供带有道路深层属性的语义信息。本发明设计了通道融合层，旨在高效地融合原始输入图像与预测标签图像的语义信息，自适应地拟合原始网络特征提取方式。此外，提出区域连续性损失函数。该损失函数为断点部分赋予较高的权重值，促使模型关注预测中道路断连的像素点，从而优化道路连通性。本发明能够在仅增加少量参数和计算量的情况下增强网络在遥感图像道路语义分割任务中的性能。

技术研发人员：钟晓玲,陈雨夏
受保护的技术使用者：成都理工大学
技术研发日：
技术公布日：2024/12/5