一种相机BEV外参标定方法、系统、设备及介质与流程

本发明涉及智能驾驶，特别涉及一种相机bev外参标定方法、系统、设备及介质。

背景技术：

1、近年来，基于视觉的高阶辅助驾驶系统(advanced driving assistance system，adas)逐渐进入用户市场，基于视觉的自动驾驶越来越获得研究人员的关注。在基于视觉的自动驾驶中，车道线和路面运动物体的检测和重建无疑是最重要的一项工作，一方面，它提供了车辆的瞬时局部地图，感知车辆所处的车道以及避免随意变道带来的风险，另一方面，它提供了自车与周围物体的相对运动关系，为车辆加减速及变道提供重要的参考信息。

2、由于相机本身缺乏深度信息，以及相机畸变的存在，ipm(inverse perspectivemapping，逆透视变换)以及由此生成的bev(bird eye view，鸟瞰图)是单目视觉检测和重建的重要方式。在bev视角下，地面目标像素间的关系可以恢复到实际物理尺度(因而车辆间的距离关系可以直接计算)，平行的车道线依然保持平行，甚至可以直接计算得到车道线的3d直线方程，这极大地克服了相机在fov(field of view)视角无深度信息的局限，方便车道线、运动物体等的检测和重建。

3、相机bev外参的标定，即标定相机与世界坐标系的外参，主要包括与世界坐标系的姿态角(roll,pitch,yaw)和相机距地面的高度(h)。现有技术中两种常见的bev外参标定方法中，第一种是基于两组正交的车道线及先验车道线长度标定。两组正交的车道线可以得到两个消失点(vanish point)，假设对应的图像坐标分别为v1、v2，其在成像平面上的相机坐标为v1、v2，且有，v1＝[v1xv1yf]t，v2＝[v2xv2yf]t，其中f为相机焦距。

4、由于相机原点与消失点的连线平行于车道线方向，因此相互正交，可以分别为世界坐标系的x轴、y轴，则，世界坐标系到相机坐标系的旋转矩阵如下式(1)：

5、

6、为计算相机相对于世界坐标系的平移，需要一条在世界坐标系内已知长度的线段，假设为设其端点分别为p1、p2，同时，已知其对应的像素坐标分别为以及在成像平面上的相机坐标则根据图1所示，根据相似三角形原理，有下式(2)：

7、

8、不失一般性，假设p1为世界坐标系原点，则：

9、

10、现有技术中，另外一种bev外参标定方法是基于一组平行的车道线及先验车道宽度标定。

11、此方法中，一组平行的车道线可以得到一个消失点(vanish point，vp)，相机与消失点的连线vd平行于这组车道线，即vd垂直于相机位置于车道线构成的投影面。据此，可以构建一组正交约束，如式(4)：

12、av＝0                   (4)

13、其中a＝[...,ni...]t，ni为第i条车道线与相机位置构成的投影面的法向量，ni＝(k-1pi1)×(k-1pi2)，(pi1,pi2)是第i条车道线在相机投影面上的投影线段；v为vd对应的单位向量。

14、求解上述方程(4)，可以得到向量v，相机位置由v指向消失点。

15、由于v平行于车道线，可以v的指向构建世界坐标系z轴假设相机坐标系相对于世界坐标系的俯仰角和航偏角分别是θ、φ，则存在如下式(5)、(6)变换关系：

16、

17、上式中cθ＝cos(θ)，sθ＝sin(θ)，cφ＝cos(φ)，sφ＝sin(φ)。

18、解上述方程(5)、(6)，可以得到θ和φ，即俯仰角(pitch)和航偏角(yaw)。

19、为进一步标定滚转角(roll)和相机高度(height)，需要已知车道宽度。对以il、ir为左右边界的车道，其理论车道宽度与滚转角ψ和相机高度h间的关系为(如附图2所示)：

20、

21、公式(7)中，αl、αr分别为左右车道线在像平面上的投影与相机坐标系y轴间的夹角。基于理论宽度应逼近实际宽度，对多组已知宽度的车道组可以构建如下能量方程(8)：

22、

23、解上述能量方程(8)，可以求得ψ,h，即滚转角roll和相机高度height。

24、以上所述的两种标定方法中，第一种方法要求两组互相垂直的车道线，且需要量测一段车道线在世界坐标系的坐标，同时需要标注这段车道线在图像上的线段，这对场景提出了较高要求，且操作繁琐，如果在十字路口实施标定，则存在很大的安全隐患。方法二对场景要求较低，但计算过程较为复杂，两步计算都需要求解非线性方程，计算效率不高。

技术实现思路

1、有鉴于此，本发明第一方面提供了一种基于单个消失点的相机bev外参标定方法，以解决背景技术部分提出的问题。该方法包括：

2、获取原始图像，根据所述原始图像获取第一车道线和第二车道线，所述第一车道线和所述第二车道线互相平行，所述原始图像由相机装置进行捕捉；

3、基于所述第一车道线和所述第二车道线确定消失点，所述消失点为所述第一车道线与所述第二车道线在所述相机装置投影面的交点；

4、构建目标方程，根据所述目标方程获取所述第一车道线在所述相机装置投影面的第一直线方程，和所述第二车道线在所述相机装置投影面的第二直线方程，根据所述第一直线方程和所述第二直线方程得到所述消失点的位置；

5、在所述原始图像上选取左下角的点构建第三车道线，在所述原始图像上选取右下角的点构建第四车道线，所述第三车道线和所述第四车道线在所述相机装置的投影面相交于所述消失点；

6、根据所述消失点的位置，通过所述第三车道线的投影面法向量和所述第四车道线的投影面法向量，计算获得目标地面的地面法向量；

7、基于所述地面法向量和所述消失点的位置确定相机坐标系内的地面方程，根据所述地面方程获取所述相机装置距离所述目标地面的相机高度，与，从所述世界坐标系转换到所述相机坐标系的旋转矩阵和平移矩阵，完成所述相机装置bev视角的外参标定。

8、进一步的，所述目标方程的构建方法包括：

9、设定像素点集为{pij＝(xij,yij)}n，其中i为直线，j为直线上的像素点，所述像素点集对应有n条平行线，对于直线i，存在如下关系：

10、

11、其中，(xij,yij)为第i个直线上的第j个点，(dxi,dyi)为直线i的方向向量，(dxi,dyi)等效于(dxi,1)，(x,y)为所述消失点的坐标；

12、根据上式关系式构建所述目标方程，所述目标方程如下式所示：

13、

14、其中，x为待优化变量，x＝[…dxi…x y]t，(x,y)为消失点的像素坐标。

15、进一步的，

16、所述消失点vp坐标为(x,y)，选取第三车道点p1＝(x1,y1)构建所述第三车道线vpp1，选取第四车道点p2＝(x2,y2)构建所述第四车道线；

17、根据vp、p1、p2的归一化相机坐标及o的坐标(0,0,0)，计算ovpp1对应的投影面法向量ni＝[xiyizi]t，和ovpp2对应的投影面法向量nj＝[xjyjzj]t，其中，相机原点o、消失点vp、第三车道点p1在所述相机装置的空间内构成所述第三车道线在所述相机装置的投影面ovpp1；相机原点o、消失点vp、第四车道点p2在所述相机装置的空间内构成所述第四车道线在所述相机装置的投影面ovpp2。

18、进一步的，所述获得目标地面的地面法向量，包括：

19、ni＝[xiyizi]t、nj＝[xjyjzj]t与地面法向量n＝[x y z]t之间存在以下约束关系：

20、(ni×n)×(nj×n)＝0

21、其中，ni×n、nj×n分别为对应车道线的方向向量，根据所述约束关系获得所述地面法向量n＝[x y z]t的解。

22、进一步的，根据所述地面坐标系获取所述从所述世界坐标系转换到所述相机坐标系的旋转矩阵，所述旋转矩阵如下：

23、

24、其中，v为车道线方向，n为地面法向量，以v、n分别作为所述世界坐标系的x轴、z轴，以u为所述世界坐标系的y轴，

25、进一步的，根据所述地面坐标系获取所述从所述世界坐标系转换到所述相机坐标系的平移矩阵，所述平移矩阵如下：

26、

27、其中，n为地面法向量，c为所述地面方程中的常数项。

28、进一步的，所述第三车道线和所述第四车道线的选取方式为虚拟选取。

29、本发明第二方面提供了一种基于单个消失点的相机bev外参标定系统，以解决本发明背景技术提出的问题。该系统包括：消失点获取模块，用于获取原始图像，根据所述原始图像获取第一车道线和第二车道线，所述第一车道线和所述第二车道线互相平行，所述原始图像由相机装置进行捕捉；基于所述第一车道线和所述第二车道线确定消失点，所述消失点为所述第一车道线与所述第二车道线在所述相机装置投影面的交点；

30、车道线优化选取模块，用于构建目标方程，根据所述目标方程获取所述第一车道线在所述相机装置投影面的第一直线方程，和所述第二车道线在所述相机装置投影面的第二直线方程，根据所述第一直线方程和所述第二直线方程得到所述消失点的位置；在所述原始图像上选取左下角的点构建第三车道线，在所述原始图像上选取右下角的点构建第四车道线，所述第三车道线和所述第四车道线在所述相机装置的投影面相交于所述消失点；根据所述消失点的位置，通过所述第三车道线的投影面法向量和所述第四车道线的投影面法向量，计算获得目标地面的地面法向量；

31、相机bev外参标定模块，用于基于所述地面法向量和所述消失点的位置确定相机坐标系内的地面方程，根据所述地面方程获取所述相机装置距离所述目标地面的相机高度，与，从所述世界坐标系转换到所述相机坐标系的旋转矩阵和平移矩阵，完成所述相机装置bev视角的外参标定。

32、本发明第三方面还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的一种基于单个消失点的相机bev外参标定方法。

33、本发明第四方面还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的一种基于单个消失点的相机bev外参标定方法的计算机程序。

34、与现有技术相比，本说明书采用的上述至少一个技术方案能够达到的有益效果至少包括：提供了一种基于单个消失点的相机bev外参标定方法，通过选取一组平行的车道线确定单个消失点，并能够基于消失点位置选取具有更优位置的车道线，从而提升计算结果的鲁棒性，从而基于单个消失点计算相机与地面旋转关系，实现相机的bev外参标定。本发明不涉及非线性方程求解，也无需人工操作，具有很高的计算效率和实用性；在实际生成的bev中，可以使得实际中平行的车道线在bev图像保持严格平行，同时bev地图坐标系纵轴方向平行于车道线，取得了更好的标定效果。

技术特征：

1.一种基于单个消失点的相机bev外参标定方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于单个消失点的相机bev外参标定方法，其特征在于，所述目标方程的构建方法包括：

3.根据权利要求1所述的一种基于单个消失点的相机bev外参标定方法，其特征在于，

4.根据权利要求3所述的一种基于单个消失点的相机bev外参标定方法，其特征在于，所述获得目标地面的地面法向量，包括：

5.根据权利要求1所述的一种基于单个消失点的相机bev外参标定方法，其特征在于，根据所述地面坐标系获取所述从所述世界坐标系转换到所述相机坐标系的旋转矩阵，所述旋转矩阵如下：

6.根据权利要求1所述的一种基于单个消失点的相机bev外参标定方法，其特征在于，根据所述地面坐标系获取所述从所述世界坐标系转换到所述相机坐标系的平移矩阵，所述平移矩阵如下：

7.根据权利要求1所述的一种基于单个消失点的相机bev外参标定方法，其特征在于，所述第三车道线和所述第四车道线的选取方式为虚拟选取。

8.一种基于单个消失点的相机bev外参标定系统，其特征在于，所述系统包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的一种基于单个消失点的相机bev外参标定方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7中任一项所述的一种基于单个消失点的相机bev外参标定方法的计算机程序。

技术总结
本发明提供了一种相机BEV外参标定方法、系统、设备及介质，涉及自动驾驶技术领域，所述方法通过选取一组平行的车道线确定单个消失点，并能够基于消失点位置选取具有更优位置的车道线，从而提升计算结果的鲁棒性；能够基于单个消失点计算相机与地面旋转关系，实现相机的BEV外参标定。本发明涉及的方法具有很高的计算效率和实用性，在实际生成的BEV中，可以使得实际中平行的车道线在BEV图像保持严格平行，同时BEV地图坐标系纵轴方向平行于车道线，取得了更好的标定效果。

技术研发人员：徐胜攀,赵亚丽,梁爽
受保护的技术使用者：北京超星未来科技有限公司
技术研发日：
技术公布日：2024/12/5