一种基于红外成像和激光雷达的救援现场生命探测方法与流程

本发明涉及成像探测，特别涉及一种基于红外成像和激光雷达的救援现场生命探测方法。

背景技术：

1、紧急救援常需要在环境复杂、空间有限、恶劣天气等不利因素中对被困人员进行搜索和救援；迅速识别出被困目标并得到其准确深度信息至关重要，这有助于救援行动在上述环境中快速展开，从而挽救更多的生命。

2、传统的可视化生命探测设备主要分为可见光和红外成像技术两种。可见光成像技术的成像质量在环境昏暗、充满灰尘等紧急救援现场易受干扰，即使使用主动照明，也难以在狭窄且充满雾霭的环境中获得良好的光照条件，因此很难得到可靠且准确的生命识别和深度测量结果；另一方面，虽然基于红外成像技术的生命探测仪在一定程度上能够克服不利环境的干扰，但由于红外成像装置空间分辨率较低等特征，导致该方法无法准确得到目标可靠的深度信息，而在紧急救援现场，深度信息的过大误差往往会导致搜救人员在错误的区域进行长时间的搜索，导致搜救效率降低、搜索资源浪费并且增加了搜救人员的安全风险。

技术实现思路

1、为了解决现有技术问题，本发明提供了一种基于红外成像和激光雷达的救援现场生命探测方法，所述方法包括：

2、s1：搭建探测器，所述探测器包括：双目红外相机、电动云台和设置在所述电动云台上的激光雷达；

3、s2：将所述探测器标定与校正；

4、s3：通过所述双目红外相机对生命目标拍摄双目图像；

5、s4：将所述双目图像中的左视图红外数据输入训练好的目标检测网络模型进行目标检测，输出生命目标的识别结果、识别准确率和识别框，同时提取出所述识别框的位置和尺寸信息，将所述识别框内的区域定义为感兴趣的roi区域；

6、s5：利用所述s2中的标定与校正获取双目红外相机的内参矩阵与外参矩阵，以roi区域内的像素点为对象，通过半全局块匹配算法对双目图像中的生命目标进行立体匹配并生成视差图，根据所述视差图和所述双目红外相机的内参矩阵与外参矩阵计算出生命目标的深度图，再将所述深度图中的深度信息转换为三维点云数据p；

7、s6：所述电动云台做匀速旋转运动，所述激光雷达按照设定好的时间间隔扫描采集多组单线数据，然后结合所述电动云台中的imu读取的实时四元数姿势，将每组单线数据都投影到三维空间中，将不同帧的三维空间数据进行融合，融合后使用条件滤波算法进行处理，得到三维点云数据q；

8、s7：将所述三维点云数据q和所述三维点云数据p进行配准，将所述三维点云数据q的三维点云转换到所述三维点云数据p的三维点云坐标系下，并将两组点云进行融合，求解融合点云的平均深度信息，即可得到生命目标的深度信息。

9、进一步地，所述s1具体包括：

10、将所述双目红外相机和所述电动云台通过卡槽安装在导轨上，所述双目红外相机彼此平行，并且安装相同的红外镜头，所述激光雷达和所述电动云台位于所述双目红外相机之间。

11、进一步地，所述导轨包括：两根竖直杆和一根水平杆，所述水平杆通过螺丝固定在两根所述竖直杆之间，所述双目红外相机和所述电动云台安装在所述水平杆上。

12、进一步地，所述探测器还包括：供电模块、开发板和机壳；

13、所述供电模块与所述开发板、所述双目红外相机、所述电动云台和所述激光雷达电连接，所述开发板还与所述双目红外相机、所述电动云台和所述激光雷达电连接；

14、所述供电模块、所述开发板、所述电动云台、所述双目红外相机和所述激光雷达位于所述机壳内。

15、进一步地，所述s2具体包括：

16、根据最大测量距离的要求计算所述双目红外相机的基线距离，通过在水平杆上调整卡槽使基线距离满足要求，以红外标定板为目标，通过所述双目红外相机拍摄获取序列双目红外图像，使用张正友标定法进行标定和校正。

17、进一步地，所述s7中将所述三维点云数据q和所述三维点云数据p进行配准具体包括：

18、对于所述三维点云数据q的每个点，通过最小化欧氏距离的方法在所述三维点云数据p中找到与距离最近的匹配点；

19、计算两组匹配点的质心，设点和分别为所述三维点云数据q和所述三维点云数据p中匹配点的质心，计算方法如下：

20、；

21、其中，用于表示三维点云数据q和三维点云数据p中所包括的点的数量；

22、去中心化处理，得到去中心化的点集和：

23、；

24、；

25、其中，表示三维点云数据p第i个去中心化处理之前的点坐标，表示三维点云数据p第i个去中心化处理之后的点坐标，表示三维点云数据q第i个去中心化处理之前的点坐标，表示三维点云数据q第i个去中心化处理之后的点坐标；

26、基于去中心化的点集和，计算交叉协方差矩阵：

27、；

28、其中，表示的转置；

29、对交叉协方差矩阵进行奇异值分解:

30、；

31、其中，表示正交矩阵，表示对角矩阵，表示正交矩阵，表示的转置；

32、计算旋转矩阵和平移向量：

33、；

34、；

35、其中，表示的转置；

36、将所述三维点云数据q的三维点云投影到三维点云数据p的三维点云坐标系下，对于，其在三维点云数据p的坐标系下的对应点可以通过下式计算：

37、；

38、配准完成。

39、本发明实施例提供的技术方案带来的有益效果是：本发明利用红外图像数据实现复杂干扰下的生命目标探测，并结合激光雷达数据提供可靠且准确的深度信息，可以避免因深度信息误差导致搜救人员在错误的区域进行长时间的搜索的问题，能够有效提高救援效率，避免搜索资源浪费，并降低搜救人员的安全风险。

技术特征：

1.一种基于红外成像和激光雷达的救援现场生命探测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于红外成像和激光雷达的救援现场生命探测方法，其特征在于，所述s1具体包括：

3.根据权利要求2所述的基于红外成像和激光雷达的救援现场生命探测方法，其特征在于，所述导轨包括：两根竖直杆和一根水平杆，所述水平杆通过螺丝固定在两根所述竖直杆之间，所述双目红外相机和所述电动云台安装在所述水平杆上。

4.根据权利要求3所述的基于红外成像和激光雷达的救援现场生命探测方法，其特征在于，所述探测器还包括：供电模块、开发板和机壳；

5.根据权利要求4所述的基于红外成像和激光雷达的救援现场生命探测方法，其特征在于，所述s2具体包括：

6.根据权利要求5所述的基于红外成像和激光雷达的救援现场生命探测方法，其特征在于，所述s7中将所述三维点云数据q和所述三维点云数据p进行配准具体包括：

技术总结
本发明公开了一种基于红外成像和激光雷达的救援现场生命探测方法，属于成像探测技术领域。该方法包括：搭建探测器，探测器包括双目红外相机、电动云台和激光雷达；拍摄双目图像，将左视图红外数据输入模型进行目标检测；对双目图像中的生命目标立体匹配并生成视差图，根据视差图计算出深度图并转换为三维点云数据P；电动云台做匀速旋转运动，激光雷达采集多组单线数据，将每组单线数据都投影到三维空间中，得到三维点云数据Q，将三维点云数据Q和三维点云数据P进行配准，将三维点云数据Q的三维点云转换到三维点云数据P的三维点云坐标系下，并进行融合，求解融合点云的平均深度信息，即可得到生命目标的深度信息。

技术研发人员：郭阳
受保护的技术使用者：陕西强偏振视觉科技有限公司
技术研发日：
技术公布日：2024/12/5