一种障碍物检测方法、装置、电子设备及存储介质与流程

本技术涉及智能驾驶，特别是涉及一种障碍物检测方法、装置、电子设备及存储介质。

背景技术：

1、辅助驾驶或自动驾驶作为现如今车辆的重要功能，主要包括车道保持、定速巡航、自动泊车、刹车辅助、倒车辅助、信号灯检测等辅助功能。这些功能可以在满足规定的驾驶场景下，使用机器系统代替人类驾驶员作为车辆的驾驶主体操作车辆，从而避免因人为判断错误而导致操作失误的情况发生，在提高车辆行驶安全性的同时也提高了驾驶员的驾驶舒适性，因此受到人们的广泛关注。

2、在相关技术中，车载机器系统需通过激光雷达实时探测车辆周围的行驶环境，例如通过接收到障碍物反射的激光雷达信号，获取障碍物的距离、方位、高度等三维空间信息，进而根据该障碍物的三维空间信息进行道路规划或驾驶操作，以达到及时绕行障碍物避免车辆剐蹭的目的。然而，激光雷达中高精度的激光发射和接收模块，以及精密的光学与机械组件，使得激光雷达的制作成本较高，从而导致障碍物检测的成本高昂。

技术实现思路

1、本技术实施例的目的在于提供一种障碍物检测方法、装置、电子设备及存储介质，以实现降低障碍物检测的成本。具体技术方案如下：

2、在本技术实施例的第一方面，提供一种障碍物检测方法，所述方法包括：

3、获取多视角鱼眼图像数据；

4、将所述多视角鱼眼图像数据输入至预先训练的障碍物检测模型的特征提取网络进行特征提取，得到多个尺寸的二维图像特征；

5、将各所述二维图像特征输入至所述障碍物检测模型的多视角特征聚合投影网络进行畸变映射及三维映射，得到多个尺寸的三维图像特征；

6、将各所述三维图像特征输入至所述障碍物检测模型的特征图上采样网络进行上采样及概率预测，得到三维障碍物检测结果。

7、在一种可能的实施方式中，所述特征提取网络包括主干网络及特征金字塔网络；

8、所述将所述多视角鱼眼图像数据输入至预先训练的障碍物检测模型的特征提取网络进行特征提取，得到多个尺寸的二维图像特征，包括：

9、利用所述主干网络对所述多视角鱼眼图像数据进行下采样，得到多个尺寸的下采样图像特征；

10、利用所述特征金字塔网络对所述下采样图像特征进行特征融合，得到多个尺寸的二维图像特征。

11、在一种可能的实施方式中，所述多视角特征聚合投影网络包括多个二维-三维映射网络；

12、所述将各所述二维图像特征输入至所述障碍物检测模型的多视角特征聚合投影网络进行畸变映射及三维映射，得到多个尺寸的三维图像特征，包括：

13、分别利用各所述二维-三维映射网络对自身对应尺寸的二维图像特征进行畸变映射及三维映射，得到多个尺寸的三维图像特征，其中，每一所述二维-三维映射网络对应一种尺寸。

14、在一种可能的实施方式中，所述二维-三维映射网络包括：注意力网络、第一残差连接和归一化网络、前馈神经网络及第二残差连接和归一化网络；

15、所述分别利用各所述二维-三维映射网络对自身对应尺寸的二维图像特征进行畸变映射及三维映射，得到多个尺寸的三维图像特征，包括：

16、利用所述注意力网络对输入的二维图像特征进行畸变映射及三维映射，得到第一图像特征；

17、利用所述第一残差连接和归一化网络对输入的第一图像特征进行残差连接及归一化处理，得到第二图像特征；

18、利用所述前馈神经网络对输入的第二图像特征进行特征增强，得到第三图像特征；

19、利用所述第二残差连接和归一化网络对输入的第三图像特征进行残差连接及归一化处理，得到三维图像特征。

20、在一种可能的实施方式中，所述利用所述注意力网络对输入的二维图像特征进行畸变映射及三维映射，得到第一图像特征，包括：

21、利用所述注意力网络通过变换：，得到第一图像特征：

22、其中，表示第一图像特征，表示所述注意力网络的查询点，表示二维图像特征，表示所述注意力网络的查询点的集合；表示所述注意力网络中的可变形卷积注意力模块的映射操作；表示三维图像特征到二维图像特征的投影函数；所述多视角鱼眼图像数据包括多个视角的鱼眼图像，表示第i个视角的鱼眼图像的二维图像特征。

23、在一种可能的实施方式中，查询点与二维点的映射关系为：

24、 ;

25、其中，表示注意力网络的第j个查询点映射到第i个视角的鱼眼图像的二维图像特征中的二维像素坐标；所述、、、表示相机内参；所述表示第j个查询点归一化后转移到平面坐标系中的x轴坐标值；所述表示第j个查询点归一化后转移到平面坐标系中的y轴坐标值；

26、=； = ;

27、其中，表示畸变后的二维图像特征的像素到圆心的径向距离，表示第j个查询点的入射角；

28、 ;

29、其中，为畸变参数，r表示归一化后的查询点的极坐标；

30、 ;

31、其中，表示第j个归一化后的查询点的x轴坐标，表示第j个归一化后的查询点的y轴坐标，

32、 ;

33、其中，表示第j个归一化后的查询点的坐标，表示第j个查询点的x轴坐标，表示第j个查询点的y轴坐标，表示第j个查询点的z轴坐标。

34、在一种可能的实施方式中，所述特征图上采样网络包括多个三维反卷积网络及概率预测模块；

35、所述将各所述三维图像特征输入至所述障碍物检测模型的特征图上采样网络进行上采样及概率预测，得到三维障碍物检测结果，包括：

36、利用第一个三维反卷积网络对第一个三维图像特征进行上采样，得到第一个上采样图像特征；

37、将第i-1个上采样图像特征与第i个三维图像特征进行融合，并将融合后的特征输入至第i三维反卷积网络进行上采样，得到第i个上采样图像特征，其中，1＜i≤n，且i为整数，n为三维反卷积网络的总数量；

38、利用概率预测模块对第n个上采样图像特征进行概率预测，得到三维场景的各占位栅格的占位类别，其中，三维障碍物检测结果包括各占位栅格的占位类别，所述占位栅格的占位类别为所述占位栅格中体素的最大概率类别。

39、在本技术实施例的第二方面，提供一种障碍物检测模型训练方法，所述方法包括：

40、获取样本鱼眼图像数据及所述样本鱼眼图像数据对应的三维场景的三维障碍物标定真值；

41、将所述样本鱼眼图像数据输入至障碍物检测模型的特征提取网络进行特征提取，得到多个尺寸的二维样本图像特征；

42、将各所述二维样本图像特征输入至障碍物检测模型的多视角特征聚合投影网络进行畸变映射及三维映射，得到多个尺寸的三维样本图像特征；

43、将各所述三维样本图像特征输入至障碍物检测模型的特征图上采样网络进行上采样及概率预测，得到三维障碍物预测结果；

44、根据所述三维障碍物标定真值及所述三维障碍物预测结果，计算障碍物检测模型的损失，并根据所述损失对障碍物检测模型进行调整。

45、在本技术实施例的第三方面，提供一种障碍物检测装置，所述装置包括：

46、图像获取模块，用于获取多视角鱼眼图像数据；

47、特征提取模块，用于将所述多视角鱼眼图像数据输入至预先训练的障碍物检测模型的特征提取网络进行特征提取，得到多个尺寸的二维图像特征；

48、图像映射模块，用于将各所述二维图像特征输入至所述障碍物检测模型的多视角特征聚合投影网络进行畸变映射及三维映射，得到多个尺寸的三维图像特征；

49、概率预测模块，用于将各所述三维图像特征输入至所述障碍物检测模型的特征图上采样网络进行上采样及概率预测，得到三维障碍物检测结果。

50、在一种可能的实施方式中，所述特征提取网络包括主干网络及特征金字塔网络；

51、所述特征提取模块，包括：

52、下采样子模块，具体用于利用所述主干网络对所述多视角鱼眼图像数据进行下采样，得到多个尺寸的下采样图像特征；

53、下采样特征融合子模块，具体用于利用所述特征金字塔网络对所述下采样图像特征进行特征融合，得到多个尺寸的二维图像特征。

54、在一种可能的实施方式中，所述多视角特征聚合投影网络包括多个二维-三维映射网络；

55、所述图像映射模块，包括：

56、图像映射子模块，具体用于分别利用各所述二维-三维映射网络对自身对应尺寸的二维图像特征进行畸变映射及三维映射，得到多个尺寸的三维图像特征，其中，每一所述二维-三维映射网络对应一种尺寸。

57、在一种可能的实施方式中，所述二维-三维映射网络包括：注意力网络、第一残差连接和归一化网络、前馈神经网络及第二残差连接和归一化网络；

58、所述图像映射子模块，包括：

59、图像映射单元，具体用于利用所述注意力网络对输入的二维图像特征进行畸变映射及三维映射，得到第一图像特征；

60、第一归一化单元，具体用于利用所述第一残差连接和归一化网络对输入的第一图像特征进行残差连接及归一化处理，得到第二图像特征；

61、特征增强单元，具体用于利用所述前馈神经网络对输入的第二图像特征进行特征增强，得到第三图像特征；

62、第二归一化单元，具体用于利用所述第二残差连接和归一化网络对输入的第三图像特征进行残差连接及归一化处理，得到三维图像特征。

63、在一种可能的实施方式中，所述图像映射单元，包括：

64、图像变换子单元，具体用于利用所述注意力网络通过变换：，得到第一图像特征：

65、其中，表示第一图像特征，表示所述注意力网络的查询点，表示二维图像特征，表示所述注意力网络的查询点的集合；表示所述注意力网络的可变形卷积注意力模块的映射操作；p表示三维图像特征到二维图像特征的投影函数；所述多视角鱼眼图像数据包括多个视角的鱼眼图像，表示第i个视角的鱼眼图像的二维图像特征。

66、在一种可能的实施方式中，查询点与二维点的映射关系为：

67、 ;

68、其中，表示注意力网络的第j个查询点映射到第i个视角的鱼眼图像的二维图像特征中的二维像素坐标；所述、、、表示相机内参；所述表示第j个查询点归一化后转移到平面坐标系中的x轴坐标值；所述表示第j个查询点归一化后转移到平面坐标系中的y轴坐标值；

69、=； = ;

70、其中，表示畸变后的二维图像特征的像素到圆心的径向距离，表示第j个查询点的入射角；

71、 ;

72、其中，为畸变参数，r表示归一化后的查询点的极坐标；

73、 ;

74、其中，表示第j个归一化后的查询点的x轴坐标，表示第j个归一化后的查询点的y轴坐标，

75、 ;

76、其中，表示第j个归一化后的查询点的坐标，表示第j个查询点的x轴坐标，表示第j个查询点的y轴坐标，表示第j个查询点的z轴坐标。

77、在一种可能的实施方式中，所述特征图上采样网络包括多个三维反卷积网络及概率预测模块；

78、所述障碍物检测模块，包括：

79、上采样子模块，具体用于利用第一个三维反卷积网络对第一个三维图像特征进行上采样，得到第一个上采样图像特征；

80、上采样特征融合子模块，具体用于将第i-1个上采样图像特征与第i个三维图像特征进行融合，并将融合后的特征输入至第i三维反卷积网络进行上采样，得到第i个上采样图像特征，其中，1＜i≤n，且i为整数，n为三维反卷积网络的总数量；

81、概率预测子模块，具体用于利用概率预测模块对第n个上采样图像特征进行概率预测，得到三维场景的各占位栅格的占位类别，其中，三维障碍物检测结果包括各占位栅格的占位类别，所述占位栅格的占位类别为所述占位栅格中体素的最大概率类别。

82、在本技术实施例的第四方面，提供一种障碍物检测模型训练装置，所述装置包括：

83、样本获取模块，用于获取样本鱼眼图像数据及所述样本鱼眼图像数据对应的三维场景的三维障碍物标定真值；

84、样本特征提取模块，用于将所述样本鱼眼图像数据输入至障碍物检测模型的特征提取网络进行特征提取，得到多个尺寸的二维样本图像特征；

85、样本图像映射模块，用于将各所述二维样本图像特征输入至障碍物检测模型的多视角特征聚合投影网络进行畸变映射及三维映射，得到多个尺寸的三维样本图像特征；

86、样本图像预测模块，用于将各所述三维样本图像特征输入至障碍物检测模型的特征图上采样网络进行上采样及概率预测，得到三维障碍物预测结果；

87、损失计算模块，用于根据所述三维障碍物标定真值及所述三维障碍物预测结果，计算障碍物检测模型的损失，并根据所述损失对障碍物检测模型进行调整。

88、本技术实施例的另一方面，还提供一种电子设备，包括：

89、存储器，用于存放计算机程序；

90、处理器，用于执行存储器上所存放的程序时，实现本技术实施例中任一所述的障碍物检测方法或障碍物检测模型训练方法。

91、在本技术实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的障碍物检测方法或障碍物检测模型训练方法。

92、本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的障碍物检测方法或障碍物检测模型训练方法。

93、本技术实施例有益效果：

94、本技术实施例提供的一种障碍物检测方法、装置、电子设备及存储介质，可以通过对获取的多视角鱼眼图像数据进行特征提取，并将获取到的图像特征进行畸变映射和三维映射，使图像特征由二维变成三维，从而根据三维图像特征进行概率预测，实现三维障碍物的检测。

95、应用本技术实施例的方法，可以通过对采集到的二维的鱼眼图像数据进行畸变映射及三维映射，获取到三维图像特征信息，相比激光雷达直接获取到三维图像特征信息的方式，本技术实施例可以使用鱼眼相机代替激光雷达，从而减少了障碍物检测的成本，进而降低具有智能辅助驾驶功能的车辆的生产成本。此外，针对鱼眼相机的图像畸变现象，本技术实施例的方法可以通过对二维图像特征进行畸变映射实现图像矫正，以提高障碍物检测的准确性。

96、当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。

技术特征：

1.一种障碍物检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括主干网络及特征金字塔网络；

3.根据权利要求1所述的方法，其特征在于，所述多视角特征聚合投影网络包括多个二维-三维映射网络；

4.根据权利要求3所述的方法，其特征在于，所述二维-三维映射网络包括：注意力网络、第一残差连接和归一化网络、前馈神经网络及第二残差连接和归一化网络；

5.根据权利要求4所述的方法，其特征在于，所述利用所述注意力网络对输入的二维图像特征进行畸变映射及三维映射，得到第一图像特征，包括：

6.根据权利要求5所述的方法，其特征在于，查询点与二维点的映射关系为：

7.根据权利要求1所述的方法，其特征在于，所述特征图上采样网络包括多个三维反卷积网络及概率预测模块；

8.一种障碍物检测模型训练方法，其特征在于，所述方法包括：

9.一种障碍物检测装置，其特征在于，所述装置包括：

10.一种电子设备，其特征在于，包括：

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法。

技术总结
本申请实施例提供了一种障碍物检测方法、装置、电子设备及存储介质，应用于智能驾驶技术领域。通过对采集到的二维的鱼眼图像数据进行畸变映射及三维映射，获取到三维图像特征信息，相比激光雷达直接获取到三维图像特征信息的方式，本申请可以使用鱼眼相机代替激光雷达，从而减少智能辅助驾驶系统的制作成本，进而降低具有智能辅助驾驶功能的车辆的生产成本。此外，本申请实施例可以通过对二维鱼眼图像数据进行畸变映射与三维映射，从而可以在实现车辆全视角覆盖的同时减少相机的数量，减少计算机的运算量，提高障碍物检测的实时性，且能够有效提升自动驾驶系统的障碍物感知能力，提升自动驾驶系统的安全性。

技术研发人员：雷翔宇
受保护的技术使用者：杭州海康威视数字技术股份有限公司
技术研发日：
技术公布日：2024/12/5