一种毫米波雷达与视觉二阶融合多分类目标检测方法

1.本发明属于自动驾驶领域，特别是涉及一种毫米波雷达与视觉二阶融合多分类目标检测方法。


背景技术：

2.近年自动驾驶汽车一直是热门研究方向，目前车辆控制方向已经比较成熟，而智能汽车的环境感知方向仍存在较多难以解决的问题。其中之一是单一传感器总是存在一定的缺陷，无法同时满足对目标的识别、定位和状态估计要求，且容易出现漏检或误检的情况，因此多传感器融合成为环境感知方向的发展趋势。
3.毫米波雷达探测距离远，能得到目标的位置、速度、运动状态信息，能适应大部分汽车使用工况，但无法识别目标；使用相机采集的图片信息结合深度学习神经网络可以对目标进行比较准确的分类，但由于缺少深度信息，无法与现实三维物体建立准确的映射关系，因此考虑采用这两者传感器融合的方案，实现功能互补。
4.目前有两类实现方法，一类是前融合，把毫米波雷达信息与视觉信息结合再输入神经网络得到目标的检测结果，前融合方法开发难度较大，难以适应多变的环境，采用的神经网络通常较复杂，计算量大，相机和毫米波雷达两种传感器相互依赖，一种传感器故障会导致整个工作系统失效。另一类是后融合，该方法只能针对某一种特定的目标进行识别，无法满足实际场景的使用需求。无一例外，这些方法同属一阶融合方法，融合过程筛选标准单一，容易出现差错。一旦环境感知过程出现问题，则会导致决策系统、控制系统一系列错误，难以保证汽车的安全性。


技术实现要素：

5.本发明的目的是提供一种毫米波雷达与视觉二阶融合多分类目标检测方法，以解决现有技术中存在的自动驾驶领域中多传感器融合的问题。
6.为实现上述目的，本发明提供一种毫米波雷达与视觉二阶融合多分类目标检测方法，包括：
7.基于标定工具获取相机的内参矩阵和相机与毫米波雷达的外参矩阵；
8.对所述毫米波雷达发出的原始can报文进行解析和滤波，获得毫米波雷达检测信息，对所述毫米波雷达检测信息进行第一广播，所述第一广播为以第一形式进行广播；
9.预设目标类别，基于所述目标类别对所述相机获得的每帧图像进行检测，获取视觉检测框信息，将所述视觉检测框信息进行第二广播，所述第二广播为以第二形式进行广播；
10.对所述第一广播和所述第二广播进行监听，同时收到广播时采集所述毫米波雷达检测信息和所述视觉检测框信息并进行处理，输出最终目标检测结果。
11.可选的，基于所述标定工具获取相机的内参矩阵和相机与毫米波雷达的外参矩阵的过程中包括：
12.将毫米波雷达与相机固定于汽车车体，保证两者相对位置不变；
13.其中所述毫米波雷达固定于汽车前保险杠中央偏上方位置，所述相机通过支架固定在车顶中央；
14.微调所述相机的角度，将所述相机对准待检测区域，使用ros标定工具箱标定所述相机，获得所述相机的内参矩阵；
15.基于所述ros标定工具箱标定所述毫米波雷达和所述相机，获得所述毫米波雷达与所述相机的外参矩阵。
16.可选的，对所述毫米波雷达发出的原始can报文进行解析和滤波，获得毫米波雷达检测信息，对所述毫米波雷达检测信息进行第一广播的过程中包括：
17.对所述毫米波雷达发出的原始can报文进行解析，并基于输出的距离和速度滤除无效的空目标点、噪点和待检测区域之外的点，获得毫米波雷达检测信息；
18.将所述毫米波雷达检测信息以所述第一形式进行广播，所述第一形式为自定义ros topic/delphi_esr形式。
19.可选的，预设目标类别，基于所述目标类别对所述相机获得的每帧图像进行检测，获取视觉检测框信息，对所述视觉检测框信息进行第二广播的过程中包括：
20.预设待检测目标物的目标类别，基于所述目标类别，采用yolo网络对所述相机获取的每帧图像进行全局目标检测，并获取视觉检测框信息，所述视觉检测框信息包括目标物在图片上的位置、类别和置信度；
21.将所述视觉检测框信息以所述第二形式进行广播，所述第二形式为以yolo定义的ros topic/bounding_boxes形式；
22.若在图像中没有检测到所述目标类别，则不进行第二广播。
23.可选的，对所述第一广播和所述第二广播进行监听，同时收到广播时采集所述毫米波雷达检测信息和所述视觉检测框信息并进行处理，输出最终目标检测结果的过程中包括：
24.使用多线程方式监听所述第一广播和所述第二广播；
25.同时收到所述第一广播和所述第二广播时，采集所述毫米波雷达检测信息和所述视觉检测框信息；
26.基于主回调函数对所述毫米波雷达检测信息和所述视觉检测框信息进行处理，输出待测目标在图像上的位置、类别、速度。
27.可选的，基于所述主回调函数对所述毫米波雷达检测信息和所述视觉检测框信息进行处理的过程中包括：
28.接收所述毫米波雷达检测信息，并将所有毫米波雷达检测点通过投影运算变换到像素坐标系；
29.进行一阶融合：基于所述视觉检测框信息获得视觉检测框，采用模糊匹配策略对每个所述视觉检测框初步选定能匹配的所述毫米波雷达检测点，作为候选点；
30.进行二阶融合：对每个所述视觉检测框，通过maxious方式从所述候选点中选取最佳毫米波雷达检测点。
31.可选的，进行一阶融合时，采用所述模糊匹配策略对每个所述视觉检测框初步选定能匹配的所述毫米波雷达检测点，作为候选点的过程中包括：
32.在像素坐标系下，计算所有所述视觉检测框的中心点和所有所述毫米波雷达检测点的欧氏距离，对所述欧氏距离和视觉检测框的长宽之和进行归一化处理，获得代价矩阵的影响系数；
33.在相机坐标系下，通过小孔成像模型计算待测目标距相机光心的距离，作为第一距离，以毫米波雷达检测点距所述相机光心的距离作为第二距离，将所述第一距离和所述第二距离之差的绝对值作为匹配代价；
34.基于所述代价矩阵的影响系数和所述匹配代价构建代价矩阵，基于所述代价矩阵计算代价值；
35.设置代价阈值，取所有所述代价值小于所述代价阈值的毫米波雷达检测点，若所述毫米波雷达检测点的数量多于三个，则取所述代价值最小的三个毫米波雷达检测点作为候选点。
36.可选的，进行二阶融合时，对每个所述视觉检测框，通过maxious方式从所述候选点中选取最佳毫米波雷达检测点的过程中包括：
37.以每个所述视觉检测框的若干个候选点为中心，选取五组值作为锚框基本大小；
38.结合所述视觉检测框的宽高比调整所述锚框的形状，生成n
×
5个所述锚框；
39.分别计算n
×
5个所述锚框与所述视觉检测框的交并比，取所述交并比最大的锚框对应的毫米波雷达检测点作为所述视觉检测框的最佳毫米波雷达检测点。
40.可选的，对所述第一广播和所述第二广播进行监听的过程中还包括：
41.仅收到所述第一广播，采集所述毫米波雷达检测信息；
42.基于副回调函数对所述毫米波雷达检测信息进行处理；
43.只保留毫米波雷达检测点在相机像素坐标系的投影点。
44.可选的，所述主回调函数和所述副回调函数之间使用flag实现互锁。
45.本发明的技术效果为：
46.本发明基于ros系统开发，实现了毫米波雷达与相机的数据融合，并且预留了接口，可以应对更多数量的相同类型的传感器，在安装有ros系统的计算机上移植便利。本发明通过后处理方式融合两种传感器的数据，可以沿用一般视觉检测的数据集，不需要额外定制数据集，通过训练前的配置文件设定可识别对象的类别。本发明使用二阶匹配策略，先对视觉检测结果和毫米波雷达检测点进行一轮预匹配，再根据视觉检测框的宽高比生成相应毫米波雷达检测点的检测框，最后计算视觉检测框和雷达检测框之间的交并比筛选出最佳匹配结果，本方法从后融合角度有效解决了多类别检测目标匹配问题，使得毫米波雷达和相机的检测信息互补，尽可能减少漏检情况，提高了自动驾驶的安全性。
附图说明
47.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
48.图1为本发明实施例中的一种毫米波雷达与视觉二阶融合多分类目标检测方法的流程图；
49.图2为本发明实施例中的预匹配过程的流程图；
50.图3为本发明实施例中的主回调函数与副回调函数互斥锁的示意图；
51.图4为本发明实施例中的ros节点拓扑图。
具体实施方式
52.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
53.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
54.如图1所示，本实施例中提供一种毫米波雷达与视觉二阶融合多分类目标检测方法，包括以下步骤：
55.步骤1，将毫米波雷达与相机固定于汽车车体，保证两者相对位置不变，毫米波雷达固定于汽车前保险杠中央偏上方位置，并且保证毫米波雷达的安装精度要求，相机通过支架固定在车顶中央，保证相机视野开阔；
56.步骤2，微调相机的角度，将相机对准待检测区域，使用ros标定工具箱标定相机，获得相机的内参矩阵，使用毫米波雷达与相机标定工具，获得两者的外参矩阵；
57.步骤3.1，解析毫米波雷达发出的can报文，根据输出的距离和速度滤除无效的空目标点、噪点和待检测区域之外的点，以自定义ros topic/delphi_esr形式广播；
58.步骤3.2，设置预定义目标类别，视觉检测模块使用yolo网络，对相机的每一帧图片进行全局目标检测，得到该时刻的一组目标检测结果，包括目标物在图片上的位置、类别和置信度，以yolo定义的ros topic/bounding_boxes形式广播，若该帧图片没有检测到预定义目标类别，则不发出topic；
59.步骤4，通过ros时间同步模块，使用多线程方式监听/delphi_esr和/bounding_boxes，获取近似同一时刻的毫米波雷达信息与视觉检测框信息；若同时收到两者的检测信息，则执行主回调函数；若只有毫米波雷达检测信息，则执行副回调函数，主回调函数和副回调函数之间使用flag实现互锁；
60.步骤4.1，接收毫米波雷达滤波后的检测信息，将所有毫米波雷达检测点通过投影运算变换到相机像素坐标系；
61.步骤4.2，一阶融合，采用模糊匹配策略对每一个视觉检测框初步选定可能匹配的毫米波雷达检测点；
62.如图2所示，一般毫米波毫米波雷达检测点可以反映物体的深度信息，但无法反映对应的物体的形态特征，如果直接将该点与视觉检测框匹配容易出现大量误匹配的问题，本发明充分利用深度信息在像素坐标系与相机坐标系的两种不同表现形式，将这两种深度信息评估方式结合起来作为预匹配的依据，初步选定毫米波雷达与视觉检测框可能的对应关系，对每个视觉检测框选取至多3个候选毫米波毫米波雷达检测点。
63.步骤4.2.1，对所有视觉检测框∑camera_bboxi和所有像素坐标系下的毫米波毫米波雷达检测点∑radar_pointj，计算∑camera_bboxi的中心点和∑radar_pointj的欧式距离与camera_bboxi长宽之和归一化处理，定义为像素距离损失λ
ij
，作为代价矩阵的影响系数，
[0064][0065]
步骤4.2.2，camera_rangei为第i个视觉识别目标通过小孔成像模型估计其在相机坐标系下距相机光心的距离，取物体的像素宽度作为测距的依据，f表示相机的焦距，p为相机的像素尺寸，m为物体的真实宽度，经测试目标物是小型乘用车时，m＝1.8米，目标物是人时，m＝0.5米，目标物是大型汽车时，m＝2.5米，u为单目相机距离估计结果，单位：米。
[0066][0067]
radar_rangej为第j个毫米波雷达检测点的在相机坐标系下距相机光心的距离，取两者之差的绝对值定义为三维距离损失cost_raw
ij
，作为匹配代价。
[0068]
cost_raw
ij
＝abs(camera_range
i-radar_rangej)；
[0069]
步骤4.2.3，构建代价矩阵cost，cost
ij
＝λ
ij
×
cost_raw
ij
；
[0070]
步骤4.2.4，设置阈值cost_key，对代价矩阵每一行costi，取所有满足cost
ij
《cost_key的毫米波雷达检测点，若多于3个，则只取3个最小的cost
ij
对应的radar_pointj作为候选点。
[0071]
步骤4.3，二阶融合，通过maxious方式对每个视觉检测框从初步匹配的毫米波雷达检测点中选取最佳的一个。以每一个视觉检测框的n个候选点为中心，选取[32,64,128,256,384]五组值作为锚框基本大小，再结合视觉检测框的宽高比调整锚框形状，生成n
×
5个锚框，分别计算这n
×
5个锚框与视觉检测框的交并比，取交并比最大的锚框对应的毫米波雷达检测点作为该视觉框的最终匹配结果，其中这五个值是经过实验获得的，与本实施例使用的相机配套效果较好，能够覆盖检测目标从近及远大概0-50米范围。具体取值需要通过实验获得，尽量接近2的幂指数；
[0072]
将五组值作为锚框基本大小，再结合视觉检测框的宽高比调整锚框形状的方法：把这五个值作为锚框的初始边长，获得同中心的五个矩形框，之后再保持锚框面积不变，调整宽高比。
[0073]
步骤5，对匹配成功的目标，输出其在图像上的位置、类别、速度，对匹配失败的目标，只保留毫米波雷达检测点在相机像素坐标系的投影点。
[0074]
图3是主回调函数与副回调函数协调工作分配示意图，主回调函数和副回调函数之间使用flag实现互锁，首先设置flag默认值为false，若执行主回调函数，则flag赋值true，此时副回调函数被抑制，该轮计算完成后，flag值更新为false；若主回调函数不执行，flag为false，此时副回调函数正常执行，flag更新为false。
[0075]
图4是本发明的节点拓扑图，本发明使用的硬件和软件平台为ubuntu18.04+rtx 2070+ros melodic+cuda10.2+cudnn10.2。
[0076]
以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。

技术特征：
1.一种毫米波雷达与视觉二阶融合多分类目标检测方法，其特征在于，包括以下步骤：基于标定工具获取相机的内参矩阵和相机与毫米波雷达的外参矩阵；对所述毫米波雷达发出的原始can报文进行解析和滤波，获得毫米波雷达检测信息，对所述毫米波雷达检测信息进行第一广播，所述第一广播为以第一形式进行广播；预设目标类别，基于所述目标类别对所述相机获得的每帧图像进行检测，获取视觉检测框信息，将所述视觉检测框信息进行第二广播，所述第二广播为以第二形式进行广播；对所述第一广播和所述第二广播进行监听，同时收到广播时采集所述毫米波雷达检测信息和所述视觉检测框信息并进行处理，输出最终目标检测结果。2.根据权利要求1所述的方法，其特征在于，基于标定工具获取相机的内参矩阵和相机与毫米波雷达的外参矩阵的过程中包括：将毫米波雷达与相机固定于汽车车体，保证两者相对位置不变；其中所述毫米波雷达固定于汽车前保险杠中央偏上方位置，所述相机通过支架固定在车顶中央；微调所述相机的角度，将所述相机对准待检测区域，使用ros标定工具箱标定所述相机，获得所述相机的内参矩阵；基于所述ros标定工具箱标定所述毫米波雷达和所述相机，获得所述毫米波雷达与所述相机的外参矩阵。3.根据权利要求1所述的方法，其特征在于，对所述毫米波雷达发出的原始can报文进行解析和滤波，获得毫米波雷达检测信息，对所述毫米波雷达检测信息进行第一广播的过程中包括：对所述毫米波雷达发出的原始can报文进行解析，并基于输出的距离和速度滤除无效的空目标点、噪点和待检测区域之外的点，获得毫米波雷达检测信息；将所述毫米波雷达检测信息以所述第一形式进行广播，所述第一形式为自定义ros topic/delphi_esr形式。4.根据权利要求1所述的方法，其特征在于，预设目标类别，基于所述目标类别对所述相机获得的每帧图像进行检测，获取视觉检测框信息，对所述视觉检测框信息进行第二广播的过程中包括：预设待检测目标物的目标类别，基于所述目标类别，采用yolo网络对所述相机获取的每帧图像进行全局目标检测，并获取视觉检测框信息，所述视觉检测框信息包括目标物在图片上的位置、类别和置信度；将所述视觉检测框信息以所述第二形式进行广播，所述第二形式为以yolo定义的ros topic/bounding_boxes形式；若在图像中没有检测到所述目标类别，则不进行第二广播。5.根据权利要求1所述的方法，其特征在于，对所述第一广播和所述第二广播进行监听，同时收到广播时采集所述毫米波雷达检测信息和所述视觉检测框信息并进行处理，输出最终目标检测结果的过程中包括：使用多线程方式监听所述第一广播和所述第二广播；同时收到所述第一广播和所述第二广播时，采集所述毫米波雷达检测信息和所述视觉检测框信息；
基于主回调函数对所述毫米波雷达检测信息和所述视觉检测框信息进行处理，输出待测目标在图像上的位置、类别、速度。6.根据权利要求5所述的方法，其特征在于，基于所述主回调函数对所述毫米波雷达检测信息和所述视觉检测框信息进行处理的过程中包括：接收所述毫米波雷达检测信息，并将所有毫米波雷达检测点通过投影运算变换到像素坐标系；进行一阶融合：基于所述视觉检测框信息获得视觉检测框，采用模糊匹配策略对每个所述视觉检测框初步选定能匹配的所述毫米波雷达检测点，作为候选点；进行二阶融合：对每个所述视觉检测框，通过maxious方式从所述候选点中选取最佳毫米波雷达检测点。7.根据权利要求6所述的方法，其特征在于，进行一阶融合时，采用所述模糊匹配策略对每个所述视觉检测框初步选定能匹配的所述毫米波雷达检测点，作为候选点的过程中包括：在像素坐标系下，计算所有所述视觉检测框的中心点和所有所述毫米波雷达检测点的欧氏距离，对所述欧氏距离和视觉检测框的长宽之和进行归一化处理，获得代价矩阵的影响系数；在相机坐标系下，通过小孔成像模型计算待测目标距相机光心的距离，作为第一距离，以毫米波雷达检测点距所述相机光心的距离作为第二距离，将所述第一距离和所述第二距离之差的绝对值作为匹配代价；基于所述代价矩阵的影响系数和所述匹配代价构建代价矩阵，基于所述代价矩阵计算代价值；设置代价阈值，取所有所述代价值小于所述代价阈值的毫米波雷达检测点，若所述毫米波雷达检测点的数量多于三个，则取所述代价值最小的三个毫米波雷达检测点作为候选点。8.根据权利要求6所述的方法，其特征在于，进行二阶融合时，对每个所述视觉检测框，通过maxious方式从所述候选点中选取最佳毫米波雷达检测点的过程中包括：以每个所述视觉检测框的若干个候选点为中心，选取五组值作为锚框基本大小；结合所述视觉检测框的宽高比调整所述锚框的形状，生成n
×
5个所述锚框；分别计算n
×
5个所述锚框与所述视觉检测框的交并比，取所述交并比最大的锚框对应的毫米波雷达检测点作为所述视觉检测框的最佳毫米波雷达检测点。9.根据权利要求5所述的方法，其特征在于，对所述第一广播和所述第二广播进行监听的过程中还包括：仅收到所述第一广播，采集所述毫米波雷达检测信息；基于副回调函数对所述毫米波雷达检测信息进行处理；只保留毫米波雷达检测点在相机像素坐标系的投影点。10.根据权利要求5或9所述的方法，其特征在于，所述主回调函数和所述副回调函数之间使用flag实现互锁。

技术总结
本发明公开了一种毫米波雷达与视觉二阶融合多分类目标检测方法，包括：基于标定工具获取相机的内参矩阵和相机与毫米波雷达的外参矩阵；对毫米波雷达发出的can报文进行解析和滤波，获得毫米波雷达检测信息，将毫米波雷达检测信息以第一形式进行广播；预设目标类别，基于目标类别对相机获得的每帧图像进行检测，获取视觉检测框信息，将视觉检测框信息以第二形式进行广播；对第一广播和第二广播进行监听，同时收到广播时采集毫米波雷达检测信息和视觉检测框信息进行处理，输出最终目标检测结果。本方法从后融合角度有效解决了多类别检测目标匹配问题，使得毫米波雷达和相机的检测信息互补，尽可能减少漏检情况，提高了自动驾驶的安全性。驶的安全性。驶的安全性。


技术研发人员：魏超 王鹏 李路兴 钱歆昊 王励志
受保护的技术使用者：北京理工大学长三角研究院（嘉兴）
技术研发日：2021.12.08
技术公布日：2022/3/8