一种目标检测方法、装置、电子设备及车辆与流程

本发明涉及数据处理，尤其涉及一种目标检测方法、装置、电子设备及车辆。

背景技术：

1、由于在目标探测、环境感知方面存在着各种各样的传感器，但是每一种传感器都存在着各自的优缺点，通常来说一种传感器并不能达到对于所需环境信息的精确感知，因此多传感器融合技术已经成为目前研究的重点和热点，成为车辆环境感知系统中必不可少的一部分。毫米波雷达探测距离远、响应时间短、成本低，但方向性差、精度较低。摄像头这类视觉传感器能提供大量的目标信息且成本较低，但容易受到天气条件和光照变化的影响。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术局限性问题。为此，本发明提出一种目标检测方法、装置、电子设备及车辆，能够准确进行目标检测。

2、一方面，本发明实施例提供了一种目标检测方法，包括：

3、获取目标场景的多模态数据和天气条件；多模态数据包括相机数据和毫米波雷达数据；

4、对多模态数据进行特征提取，得到特征数据；特征数据包括相机特征和毫米波雷达特征；

5、当天气条件为良好，基于相机特征的第一数据分布对相机特征和毫米波雷达特征进行第一对齐处理；

6、当天气条件为不佳，将相机特征转换到鸟瞰图并通过拼接操作得到立体图像特征，基于立体图像特征的第二数据分布对立体图像特征和毫米波雷达特征进行第二对齐处理；

7、基于第一对齐处理或第二对齐处理的特征结果，通过基于注意力机制的双向融合策略进行特征融合，得到目标特征；

8、基于目标特征，通过预设的回归头进行目标检测，得到目标场景下的目标检测结果。

9、在一些实施例中，获取目标场景的多模态数据和天气条件，包括以下步骤：

10、通过相机设备获取目标场景的相机数据；相机数据为图像数据；

11、通过毫米波雷达获取目标场景的毫米波雷达数据；毫米波雷达数据为点云数据；

12、响应于目标对象的输入信息获取天气条件，或者，基于相机数据通过预训练的分类模型进行分类处理得到天气条件。

13、在一些实施例中，基于相机特征的第一数据分布对相机特征和毫米波雷达特征进行第一对齐处理，包括以下步骤：

14、通过噪点过滤网络对相机特征的图像像素和毫米波雷达特征的深度点进行第三对齐处理；

15、基于第三对齐处理的结果，采用注意力对齐的方法将深度点投影到相机特征所在的前视图，并对深度点进行深度增强和深度矫正，将相机特征和毫米波雷达特征在相机特征的第一数据分布上完成第一对齐处理。

16、在一些实施例中，基于立体图像特征的第二数据分布对立体图像特征和毫米波雷达特征进行第二对齐处理，包括以下步骤：

17、通过连续卷积块对立体图像特征进行图像特征融合；

18、基于图像特征融合的结果进行反投影提取得到伪点云目标；

19、基于伪点云目标，将立体图像特征和毫米波雷达特征在立体图像特征的第二数据分布上完成第二对齐处理。

20、在一些实施例中，基于第一对齐处理或第二对齐处理的特征结果，通过基于注意力机制的双向融合策略进行特征融合，得到目标特征，包括以下步骤：

21、当天气条件为良好，将相机特征作为第一特征，将毫米波雷达特征作为第二特征；

22、当天气条件为不佳，将立体图像特征作为第一特征，将毫米波雷达特征作为第二特征；

23、根据第一特征和第二特征，通过双向注意力交流和多层局部空间特征关联进行特征融合，得到目标特征。

24、在一些实施例中，根据第一特征和第二特征，通过双向注意力交流和多层局部空间特征关联进行特征融合，得到目标特征，包括以下步骤：

25、对第一特征进行自注意力处理，得到第一自注意力特征；对第二特征进行自注意力处理，得到第二自注意力特征；

26、根据第一自注意力特征和第二自注意力特征通过交叉注意力处理得到第一交叉注意力特征；根据第二自注意力特征和第一自注意力特征通过交叉注意力处理得到第二交叉注意力特征；

27、对第一交叉注意力特征和第一交叉注意力特征进行特征相乘，得到第三特征；

28、对第三特征进行特征后处理，得到第四特征；

29、基于第四特征的通道数，通过线性层对第二交叉注意力特征进行通道数扩展，得到第五特征；

30、将第四特征作为第一特征，将第五特征作为第二特征，返回执行对第一特征进行自注意力处理，得到第一自注意力特征的步骤，直至特征处理循环次数达到预设的特征融合层级数量，将最后得到的第四特征作为目标特征。

31、在一些实施例中，对第三特征进行特征后处理，包括以下步骤：

32、对第三特征依次进行卷积处理、归一化处理和激活函数处理。

33、另一方面，本发明实施例提供了一种目标检测装置，包括：

34、第一模块，用于获取目标场景的多模态数据和天气条件；多模态数据包括相机数据和毫米波雷达数据；

35、第二模块，用于对多模态数据进行特征提取，得到特征数据；特征数据包括相机特征和毫米波雷达特征；

36、第三模块，用于当天气条件为良好，基于相机特征的第一数据分布对相机特征和毫米波雷达特征进行第一对齐处理；

37、第四模块，用于当天气条件为不佳，将相机特征转换到鸟瞰图并通过拼接操作得到立体图像特征，基于立体图像特征的第二数据分布对立体图像特征和毫米波雷达特征进行第二对齐处理；

38、第五模块，用于基于第一对齐处理或第二对齐处理的特征结果，通过基于注意力机制的双向融合策略进行特征融合，得到目标特征；

39、第六模块，用于基于目标特征，通过预设的回归头进行目标检测，得到目标场景下的目标检测结果。

40、另一方面，本发明实施例提供了一种电子设备，包括：处理器以及存储器；存储器用于存储程序；处理器执行程序实现上述目标检测方法。

41、另一方面，本发明实施例提供了一种计算机存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现上述目标检测方法。

42、另一方面，本发明实施例提供了一种车辆，车辆包括上述的目标检测装置或上述的电子设备。

43、本发明实施例通过获取目标场景的多模态数据和天气条件；多模态数据包括相机数据和毫米波雷达数据；对多模态数据进行特征提取，得到特征数据；特征数据包括相机特征和毫米波雷达特征；当天气条件为良好，基于相机特征的第一数据分布对相机特征和毫米波雷达特征进行第一对齐处理；当天气条件为不佳，将相机特征转换到鸟瞰图并通过拼接操作得到立体图像特征，基于立体图像特征的第二数据分布对立体图像特征和毫米波雷达特征进行第二对齐处理；基于第一对齐处理或第二对齐处理的特征结果，通过基于注意力机制的双向融合策略进行特征融合，得到目标特征；基于目标特征，通过预设的回归头进行目标检测，得到目标场景下的目标检测结果。本发明使用毫米波雷达与摄像头融合的目标探测方法，能够提高感知系统对于环境变化和异常情况的鲁棒性，并且，根据天气条件的不同，在信息融合过程中选择不同的组合方式，可以更有效的对目标物进行探测，提高探测的精度以及准确性。本发明能够准确进行目标检测。

技术特征：

1.一种目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的目标检测方法，其特征在于，所述获取目标场景的多模态数据和天气条件，包括以下步骤：

3.根据权利要求1所述的目标检测方法，其特征在于，所述基于所述相机特征的第一数据分布对所述相机特征和所述毫米波雷达特征进行第一对齐处理，包括以下步骤：

4.根据权利要求1所述的目标检测方法，其特征在于，所述基于所述立体图像特征的第二数据分布对所述立体图像特征和所述毫米波雷达特征进行第二对齐处理，包括以下步骤：

5.根据权利要求1所述的目标检测方法，其特征在于，所述基于所述第一对齐处理或所述第二对齐处理的特征结果，通过基于注意力机制的双向融合策略进行特征融合，得到目标特征，包括以下步骤：

6.根据权利要求5所述的目标检测方法，其特征在于，所述根据所述第一特征和所述第二特征，通过双向注意力交流和多层局部空间特征关联进行所述特征融合，得到所述目标特征，包括以下步骤：

7.根据权利要求6所述的目标检测方法，其特征在于，所述对所述第三特征进行特征后处理，包括以下步骤：

8.一种目标检测装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器以及存储器；

10.一种车辆，其特征在于，所述车辆包括如权利要求8所述的目标检测装置或者如权利要求9所述的电子设备。

技术总结
本发明公开了一种目标检测方法、装置、电子设备及车辆，方法包括：获取目标场景的多模态数据和天气条件；对多模态数据进行特征提取，得到特征数据；当天气条件为良好，基于相机特征的第一数据分布对相机特征和毫米波雷达特征进行第一对齐处理；当天气条件为不佳，将相机特征转换到鸟瞰图并通过拼接操作得到立体图像特征，基于立体图像特征的第二数据分布对立体图像特征和毫米波雷达特征进行第二对齐处理；基于第一对齐处理或第二对齐处理的特征结果基于注意力机制的双向融合策略进行特征融合，得到目标特征；基于目标特征，通过预设的回归头进行目标检测，得到目标检测结果。本发明能够准确进行目标检测，可广泛应用于数据处理技术领域。

技术研发人员：赵心怡,王建国,史历,孟凡华,成春雨,孟先岳,袁昊,孙瑀擎
受保护的技术使用者：中国第一汽车股份有限公司
技术研发日：
技术公布日：2024/12/5