无人机搭载可见光和红外成像的堤坝管涌识别方法及系统
本发明属于堤坝隐患识别领域，具体涉及无人机搭载可见光和红外成像的堤坝管涌识别方法及系统。
背景技术：
1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
2、提防隐患是危害提防安全运行的主要因素，堤坝在长期服役过程中，逐渐加高培厚而成，由于局部夯实不均匀，将会产生不均匀沉陷产生裂缝、暗隙；有的因獾、鼠、蛇、白蚁等动物掏蚀形成洞穴，或填埋在堤防内部的树根、桩木腐烂形成的洞隙，以及修堤时没有清理的暗管、废井等残留物。由于上述隐患的存在，当遭遇洪水时堤防经常发生渗漏、管涌、滑坡、崩塌等险情，严重者将导致堤防溃决。
3、因此，在非汛期采用先进、快速、准确的探测技术对堤防进行质量检查，可以做到防患于未然；在汛期采用先进、快速、准确的堤防隐患探测和险情排查技术，可以有效防止溃堤、决堤事件的发生；同时，将非汛期与汛期探测和排查的堤防基础数据采用大数量的管理方式、进行隐患与险情的机器学习挖掘分析、智能判断险情状态，是进行堤防风险管理基础。
4、近年来，国内外针对堤防隐患探测和险情巡查，许多学者不断研究，探索出了大量的堤防隐患探测和险情巡查的方法技术、仪器设备。如中国发明专利cn 112184628 b一种红外双波图像及云端预警的巡堤防汛查险系统及方法，提供了利用无人机采集图像，地面云端进行图像处理和预警的技术方案，但是，其仍仅能对堤防进行质量检查，无法实现快速、准确的堤防隐患探测和险情排查，分析、智能判断险情状态。
技术实现思路
1、本发明为了解决上述问题，提出了无人机搭载可见光和红外成像的堤坝管涌识别方法及系统，本发明可快速识别提防管涌隐患，并且预测灾害危害程度，能够实现快速、准确的堤防隐患探测和险情排查，分析、智能判断险情状态，以指导预警。
2、根据一些实施例，本发明采用如下技术方案：
3、一种无人机搭载可见光和红外成像的堤坝管涌识别方法，包括以下步骤：
4、获取无人机拍摄的目标堤坝背面图像信息，所述图像信息包括光强/能见度大于设定值时的可见光图像，以及光强/能见度小于等于设定值时的红外图像；
5、利用预训练的深度神经网络学习模型对目标堤坝背面图像信息进行特征提取，提取得到管涌的管口大小、水头高度、距堤距离、流量、浑浊度和沙环明显程度；
6、基于提取到的特征，建立判断矩阵计算各个特征的因素权向量，根据因素权向量信息和特征，结合多尺度、多层级的空间分析对堤坝管涌风险等级进行划分。
7、作为可选择的实施方式，所述深度神经网络学习模型的训练过程中，以历史堤坝隐患图像作为训练样本进行训练和测试。
8、作为可选择的实施方式，所述深度神经网络学习模型为seg-net图像语义分割网络模型，包括依次连接的图像输入层、编码器网络、解码器网络、softmax分类器和像素分割结果输出层，其中：
9、所述编码器网络由卷积层和池化层组成，用于提取图像特征，并生成特征图；
10、所述解码器网络用于将特征图恢复到原始输入图像相同的空间分辨率，并生成分割结果；
11、所述softmax分类器用于预测每个像素的类别，其连接解码器的最后一层。
12、作为进一步的实施方式，所述的seg-net图像语义分割网络模型的损失函数采用交叉熵的方式进行计算，适用于多分类问题，其计算公式如下：
13、；
14、其中，m为类别的数量；为符号函数，如果样本 i的真实类别等于类别c则取1，否则取0；为样本 i属于类别 c的预测概率。
15、作为可选择的实施方式，基于提取到的特征，建立判断矩阵计算各个特征的因素权向量的过程包括：利用层次分析法根据管涌影响因素权重大小进行不同的赋值，其评价指标权重函数如下：
16、；
17、；
18、其中：aij为各项影响因子权重，n为影响因素个数，为因素向量权重。
19、所述的深度神经网络学习模型的预训练过程包括：
20、收集历史管涌图像数据，所述数据包含有关管口、水头、距堤距离、流量、浑浊度和沙环明显程度信息，构成数据集；
21、对数据集进行标注，标注的内容包括将图像中的每个像素标记为对应的管涌特征类别；
22、使用带有标注信息的数据集对seg-net图像语义分割网络模型进行训练，训练过程中，模型将学习从输入图像中提取特征，并对每个像素进行正确的分类。
23、作为可选择的实施方式，利用预训练的深度神经网络学习模型对目标堤坝背面图像信息进行特征提取的过程包括：所述的管口大小特征提取通过分割结果中的管口区域计算其面积或周长确定；
24、所述的水头高度使用图像坐标系将像素高度转换为实际高度得到；
25、所述的距堤距离是通过分割结果中的管口和堤防区域计算两者之间的距离；
26、所述的流量通过训练模型直接预测流量值；
27、所述的浑浊度通过分割结果中的水体区域分析其颜色和纹理特征，估算浑浊度；
28、所述的沙环明显程度通过分割结果中的沙环区域计算其面积和形状特征确定。
29、作为可选择的实施方式，所述的多尺度、多层级的空间分析包括宏观尺度层级、中尺度层级和局部尺度层级，其中，所述的宏观尺度层级是分析整个流域或区域内的水文地质状况和整个流域范围内的险情，包括洪水风险和上游来水量；
30、所述的中尺度层级是分析整个堤坝的结构和状态；
31、所述的局部尺度层级是根据无人机摄影对堤坝管涌特征信息提取综合分析管涌隐患发展的状况。
32、一种无人机搭载可见光和红外成像的堤坝管涌识别系统，包括：
33、无人机，搭载有图像采集设备，用于获取无人机拍摄的目标堤坝背面图像信息，所述图像信息包括光强/能见度大于设定值时的可见光图像，以及光强/能见度小于等于设定值时的红外图像；
34、特征提取模块，用于利用预训练的深度神经网络学习模型对目标堤坝背面图像信息进行特征提取，提取得到管涌的管口大小、水头高度、距堤距离、流量、浑浊度和沙环明显程度；
35、堤坝管涌识别模块，用于基于提取到的特征，建立判断矩阵计算各个特征的因素权向量，根据因素权向量信息和特征，综合对堤坝管涌风险等级进行划分。
36、作为可选择的实施方式，所述无人机搭载有图像采集设备，按照预设巡检路径对目标堤坝背面进行图像采集；
37、所述图像采集设备包括可见光和红外光图像采集设备。
38、与现有技术相比，本发明的有益效果为：
39、本发明提供了一种无人机搭载可见光和红外成像的堤坝管涌识别方法及系统，通过无人机搭载可见光和红外光实现白天和夜间管涌识别；通过利用seg-net网络结构提取出管涌特征信息，包括管涌的管口大小、水头高度、距堤距离、流量、浑浊度、沙环明显程度。且本发明基于特征信息采用层次分析法综合判断管涌风险等级，实现更科学，更准确定位管涌发生灾害的风险。
40、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
技术特征：
1.一种无人机搭载可见光和红外成像的堤坝管涌识别方法，其特征是，包括以下步骤：
2.如权利要求1所述的一种无人机搭载可见光和红外成像的堤坝管涌识别方法，其特征是，所述深度神经网络学习模型的训练过程中，以历史堤坝隐患图像作为训练样本进行训练和测试。
3.如权利要求1所述的一种无人机搭载可见光和红外成像的堤坝管涌识别方法，其特征是，所述深度神经网络学习模型为seg-net图像语义分割网络模型，包括依次连接的图像输入层、编码器网络、解码器网络、softmax分类器和像素分割结果输出层，其中：
4.如权利要求3所述的一种无人机搭载可见光和红外成像的堤坝管涌识别方法，其特征是，所述的seg-net图像语义分割网络模型的损失函数采用交叉熵的方式进行计算，适用于多分类问题，其计算公式如下：
5.如权利要求1所述的一种无人机搭载可见光和红外成像的堤坝管涌识别方法，其特征是，基于提取到的特征，建立判断矩阵计算各个特征的因素权向量的过程包括：利用层次分析法根据管涌影响因素权重大小进行不同的赋值，其评价指标权重函数如下：
6.如权利要求1所述的一种无人机搭载可见光和红外成像的堤坝管涌识别方法，其特征是，所述的深度神经网络学习模型的预训练过程包括：
7.如权利要求1所述的一种无人机搭载可见光和红外成像的堤坝管涌识别方法，其特征是，利用预训练的深度神经网络学习模型对目标堤坝背面图像信息进行特征提取的过程包括：所述的管口大小特征提取通过分割结果中的管口区域计算其面积或周长确定；
8.如权利要求1所述的一种无人机搭载可见光和红外成像的堤坝管涌识别方法，其特征是，所述的多尺度、多层级的空间分析包括宏观尺度层级、中尺度层级和局部尺度层级，其中，所述的宏观尺度层级是分析整个流域或区域内的水文地质状况和整个流域范围内的险情，包括洪水风险和上游来水量；
9.一种无人机搭载可见光和红外成像的堤坝管涌识别系统，其特征是，包括：
10.如权利要求9所述的一种无人机搭载可见光和红外成像的堤坝管涌识别系统，其特征是，所述无人机搭载有图像采集设备，按照预设巡检路径对目标堤坝背面进行图像采集；
技术总结
本发明属于堤坝隐患识别领域，本发明提供了无人机搭载可见光和红外成像的堤坝管涌识别方法及系统，获取无人机拍摄的目标堤坝背面图像信息，所述图像信息包括光强/能见度大于设定值时的可见光图像，以及光强/能见度小于等于设定值时的红外图像；利用预训练的深度神经网络学习模型对目标堤坝背面图像信息进行特征提取，提取得到管涌的管口大小、水头高度、距堤距离、流量、浑浊度和沙环明显程度；基于提取到的特征，建立判断矩阵计算各个特征的因素权向量，根据因素权向量信息和特征，综合对堤坝管涌风险等级进行划分。本发明可快速识别提防管涌，能够实现快速、准确的堤防隐患探测和险情排查，分析、智能判断险情状态，以指导预警。
技术研发人员：肖越,王波,李元成,聂利超,马鹏飞,李志强,李永铭
受保护的技术使用者：山东大学
技术研发日：
技术公布日：2024/12/5