基于YOLACT的三维激光雷达道路点云分割方法

基于yolact的三维激光雷达道路点云分割方法
技术领域
1.本发明涉及点云实例分割技术领域，尤其是三维激光雷达道路点云实例分割，具体地说是一种利用yolact图像实例分割算法进行三维激光雷达道路点云实例分割的方法。


背景技术：

2.自动驾驶技术利用车载传感器来感知车辆周围的道路环境，自动规划行车路线并控制车辆到达目的地。在众多传感器中，三维激光雷达具有测距精度高、探测范围大、不受光照条件影响等特点，因而在自动驾驶领域得到了广泛应用。从三维激光雷达获取的点云数据中分割出汽车、行人等道路目标实例是自动驾驶的首要步骤，其精度决定了自动驾驶的可靠性。然而，由于道路环境所具有的复杂性和多样性，给三维激光雷达道路点云实例分割带来了诸多挑战。
3.现有三维激光雷达道路点云实例分割方法主要为流水线方法。这类方法将三维激光雷达道路点云实例分割分解为若干个步骤：首先移除地面点云，然后对剩余点云进行聚类，最后对聚类结果进行道路目标分类。此类方法存在几个问题：
①
较为依赖人工设计的特征或决策规则，导致方法的推广性较差；
②
各步骤独立设计，造成较大的误差累积。


技术实现要素：

4.本发明的目的是针对三维激光雷达道路点云实例分割问题，本发明提出一种基于yolact的三维激光雷达道路点云实例分割方法，首先将三维点云数据球面投影为二维图像数据，然后采用yolact端到端图像实例分割算法实现道路目标实例的准确分割。
5.本发明的技术方案是：
6.一种基于yolact的三维激光雷达道路点云分割方法，该方法包括以下步骤：
7.s1、样本数据点云变换：将三维激光雷达装载在移动车辆上扫描道路获取样本点云数据，包括激光反射强度i，测量点的三维直角坐标(x,y,z)；进行点云变换，将三维激光雷达的道路点云数据球面投影为二维图像数据；
8.s2、构建训练集：按照步骤s1获取若干样本的二维图像数据，标注二维图像数据并分割目标，构建用于训练的图像数据集；
9.s3、模型训练：基于卷积神经网络模型，对步骤s2获取的图像数据集进行训练，得到三维激光雷达道路点云实例分割模型；
10.s4、模型预测：对待处理的实测三维激光雷达道路点云数据，采用s1的步骤进行处理获取二维图像数据，对二维图像数据切割后输入三维激光雷达道路点云实例分割模型进行处理，分割出道路目标实例。
11.进一步地，步骤s1中通过点云变换获取的二维图像数据包括：二维图像像素坐标(i,j)和该像素坐标处的图像三通道数据(r,g,b)，具体采用以下步骤：
12.s1-1、令o为激光束发射位置，p为测量点，根据测量点p的三维直角坐标(x,y,z)，计算激光束op的天顶角和方位角θ；
[0013][0014]
s1-2、根据下述公式求取测量点p的二维图像像素坐标(i,j)；
[0015][0016]
其中：为天顶角分辨率，为三维激光雷达的最小天顶角，δθ为方位角分辨率，θ
min
为三维激光雷达的最小方位角；
[0017]
s1-3、构建宽为w、高为h的三通道彩色图像，图像像素默认值为0；
[0018][0019]
其中：为三维激光雷达的最大天顶角，θ
max
为三维激光雷达的最大方位角；
[0020]
s1-4、采用下述公式获取测量点p的像素坐标(i,j)处的图像三通道数据(r,g,b)：
[0021][0022]
s1-5、采用归一化方法将图像三通道数据取值范围变换到0-255。
[0023]
进一步地，步骤s2中，
[0024]
s2-1、对于二维图像数据，将每幅图像切割至统一尺寸；
[0025]
s2-2、使用labelme标注出每幅图像中需要分割的道路目标实例，得到相应的json文件；
[0026]
s2-3、将训练图像和json文件转换成coco格式的数据集。
[0027]
进一步地，步骤s2-1中，对切割后的图像进行水平翻转，扩充数据集。
[0028]
进一步地，所述的模型训练具体包括：
[0029]
s3-1、将用于训练的图像数据集输入卷积神经网络模型，生成特征图；
[0030]
s3-2、将生成的特征图输入特征金字塔fpn进行融合；
[0031]
s3-3、对特征金字塔fpn融合后的特征图进行语义分割并计算语义分割损失，同时将特征图分别输入到两个并行的分支当中：
[0032]
第一个分支使用基于fcn的原型掩码生成网络protonet产生原型掩码prototype mask；
[0033]
第二个分支通过预测头网络prediction head输出各目标包围框位置的4个坐标，mask系数以及分类置信率，并将prediction head网络得到的结果进行快速非极大值抑制
fastnms处理；
[0034]
s3-4、将fastnms的处理结果和protonet输出的原型mask进行组合运算，输出最终道路目标的实例信息，包括实例类别、实例边界框和实例掩膜；
[0035]
s3-5、将步骤s3-4得到的道路目标实例的类别、边界框、掩膜信息与步骤s2所标注的道路目标实例信息进行比对，并加上s3-3的语义分割损失，以多任务损失函数l为优化目标，对模型训练若干次，完成训练，得到基于yolact的三维激光雷达道路点云实例分割模型。
[0036]
进一步地，组合运算包括叠加，裁切和阈值分割。
[0037]
进一步地，多任务损失函数l采用如下公式计算：
[0038]
l＝l
cls
+l
box
+l
mask
+l
semantic
[0039]
其中：l
cls
表示类别损失函数，l
box
表示边界框损失函数，l
mask
表示掩膜损失函数，l
semantic
表示语义分割损失函数。
[0040]
本发明的有益效果：
[0041]
本发明提出基于yolact的三维激光雷达道路点云实例分割方法，通过将三维激光雷达道路点云数据球面投影为二维图像数据，采用时间/空间复杂度较低的端到端图像实例分割算法实现三维激光雷达道路点云实例分割；能够从标注数据中自动学习出特征和决策规则，因此具有较好的推广性，并且由于三维激光雷达道路点云实例分割模型作为一个整体进行训练，避免了误差累积的问题。
[0042]
本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
[0043]
通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
[0044]
图1示出了实施例中的球面投影示意图。
[0045]
图2示出了实施例中的labelme标注示意图。
[0046]
图3示出了实施例中的三维激光雷达道路示意图。
[0047]
图4出了实施例中的模型预测结果示意图。
具体实施方式
[0048]
下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。
[0049]
一种基于yolact的三维激光雷达道路点云分割方法，该方法包括以下步骤：
[0050]
s1、点云变换，将三维激光雷达道路点云数据球面投影为二维图像数据。s1-1、如图1所示，o为激光束发射位置，p为一个测量点，给测量点p的三维直角坐标(x,y,z)，求取激光束op的天顶角和方位角θ。
head网络得到的结果进行fastnms处理。
[0069]
s3-4、fastnms的处理结果和protonet输出的原型mask进行组合运算(叠加，裁切，阈值分割)即可输出最终道路目标的实例类别、实例边界框、实例掩膜。
[0070]
s3-5、将步骤s3-4得到的道路目标实例类别、实例边界框以及实例掩膜与所标注的实际道路目标实例类别、实际边界框和实际掩膜进行比对并加上s3-3的语义分割损失，以多任务损失函数l为优化目标，对模型训练若干次，完成训练，得到基于yolact的三维激光雷达道路点云实例分割模型。
[0071]
l＝l
cls
+l
box
+l
mask
+l
semantic
[0072]
其中：l
cls
表示类别损失函数，l
box
表示边界框损失函数，l
mask
表示掩膜损失函数，l
semantic
表示语义分割损失函数。
[0073]
s4、模型预测：对待处理的三维激光雷达道路点云数据：
[0074]
首先，采用s1描述的方法将其变换为图像数据，将每幅图像切割至合适尺寸，然后采用s3训练好的模型分割出道路目标实例。
[0075]
具体实施时：
[0076]
实验采用自动驾驶kitti数据集，该数据集采用64线激光雷达(安装在车顶的正中心)velodyne hdl-64e采集道路点云数据，因此前视图的高度为64；同时受到数据集标注的影响，只考虑了90
°
的前视角范围并划分为512个单元格，因此前视图宽度为512。最大天顶角最小天顶角天顶角分辨率最大方位角θ
max
＝45
°
，最小方位角θ
min
＝-45
°
，方位角分辨率δθ＝0.17
°
。
[0077]
首先，采用s1的步骤进行点云变换后切割，得到64
×
512
×
3的图像数据，如图3所示，为三维激光雷达道路示意图。
[0078]
接着，采用s2描述的方法构建训练集，然后，采用s3描述的方法训练三维激光雷达道路点云实例分割模型，最后，采用s4描述的方法进行模型预测，图4给出了汽车的实例分割结果。
[0079]
最后，得到测试集在不同交并比下的两类map值，如下表1所示，其中all下的值为box和mask各自在50到95间所有交并比下的map的平均值。
[0080] all.50.55.60.65.70.75.80.85.90.95box54.4388.2888.2888.2885.6875.0470.1142.033.832.570.21mask64.9495.5791.4691.4686.6383.4280.0880.0839.781.890.00
[0081]
根据上述表格，可以看出本发明的基于yolact的三维激光雷达道路点云实例分割方法的预测准确度比较高。
[0082]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

技术特征：
1.一种基于yolact的三维激光雷达道路点云分割方法，其特征在于，该方法包括以下步骤：s1、样本数据点云变换：将三维激光雷达装载在移动车辆上扫描道路获取样本点云数据，包括激光反射强度i，测量点的三维直角坐标(x,y,z)；进行点云变换，将三维激光雷达的道路点云数据球面投影为二维图像数据；s2、构建训练集：按照步骤s1获取若干样本的二维图像数据，标注二维图像数据并分割目标，构建用于训练的图像数据集；s3、模型训练：基于卷积神经网络模型，对步骤s2获取的图像数据集进行训练，得到三维激光雷达道路点云实例分割模型；s4、模型预测：对待处理的实测三维激光雷达道路点云数据，采用s1的步骤进行处理获取二维图像数据，对二维图像数据切割后输入三维激光雷达道路点云实例分割模型进行处理，分割出道路目标实例。2.根据权利要求1所述的基于yolact的三维激光雷达道路点云分割方法，其特征在于：步骤s1中通过点云变换获取的二维图像数据包括：二维图像像素坐标(i,j)和该像素坐标处的图像三通道数据(r,g,b)，具体采用以下步骤：s1-1、令o为激光束发射位置，p为测量点，根据测量点p的三维直角坐标(x,y,z)，计算激光束op的天顶角和方位角θ；s1-2、根据下述公式求取测量点p的二维图像像素坐标(i,j)；其中：为天顶角分辨率，为三维激光雷达的最小天顶角，δθ为方位角分辨率，θ
min
为三维激光雷达的最小方位角；s1-3、构建宽为w、高为h的三通道彩色图像，图像像素默认值为0；其中：为三维激光雷达的最大天顶角，θ
max
为三维激光雷达的最大方位角；s1-4、采用下述公式获取测量点p的像素坐标(i,j)处的图像三通道数据(r,g,b)：
s1-5、采用归一化方法将图像三通道数据取值范围变换到0-255。3.根据权利要求1所述的基于yolact的三维激光雷达道路点云分割方法，其特征在于：步骤s2中，s2-1、对于二维图像数据，将每幅图像切割至统一尺寸；s2-2、使用labelme标注出每幅图像中需要分割的道路目标实例，得到相应的json文件；s2-3、将训练图像和json文件转换成coco格式的数据集。4.根据权利要求3所述的基于yolact的三维激光雷达道路点云分割方法，其特征在于：步骤s2-1中，对切割后的图像进行水平翻转，扩充数据集。5.根据权利要求1所述的基于yolact的三维激光雷达道路点云分割方法，其特征在于所述的模型训练具体包括：s3-1、将用于训练的图像数据集输入卷积神经网络模型，生成特征图；s3-2、将生成的特征图输入特征金字塔fpn进行融合；s3-3、对特征金字塔fpn融合后的特征图进行语义分割并计算语义分割损失，同时将特征图分别输入到两个并行的分支当中：第一个分支使用基于fcn的原型掩码生成网络protonet产生原型掩码prototype mask；第二个分支通过预测头网络prediction head输出各目标包围框位置的4个坐标，mask系数以及分类置信率，并将prediction head网络得到的结果进行快速非极大值抑制fastnms处理；s3-4、将fastnms的处理结果和protonet输出的原型mask进行组合运算，输出最终道路目标的实例信息，包括实例类别、实例边界框和实例掩膜；s3-5、将步骤s3-4得到的道路目标实例的类别、边界框、掩膜信息与步骤s2所标注的道路目标实例信息进行比对，并加上s3-3的语义分割损失，以多任务损失函数l为优化目标，对模型训练若干次，完成训练，得到基于yolact的三维激光雷达道路点云实例分割模型。6.根据权利要求5所述的基于yolact的三维激光雷达道路点云分割方法，其特征在于：组合运算包括叠加，裁切和阈值分割。7.根据权利要求5所述的基于yolact的三维激光雷达道路点云分割方法，其特征在于：多任务损失函数l采用如下公式计算：l＝l
cls
+l
box
+l
mask
+l
semantic
其中：l
cls
表示类别损失函数，l
box
表示边界框损失函数，l
mask
表示掩膜损失函数，l
semantic
表示语义分割损失函数。

技术总结
一种基于YOLACT的三维激光雷达道路点云分割方法，该方法包括以下步骤：样本数据点云变换，将三维激光雷达的道路点云数据球面投影为二维图像数据；标注并分割目标，构建用于训练的图像数据集；基于卷积神经网络模型进行训练，得到三维激光雷达道路点云实例分割模型；对待处理的实测三维激光雷达道路点云数据进行处理，分割出道路目标实例。本发明的方法首先将三维点云数据球面投影为二维图像数据，然后采用YOLACT端到端图像实例分割算法实现道路目标实例的准确分割。路目标实例的准确分割。路目标实例的准确分割。


技术研发人员：李秋洁 严宇
受保护的技术使用者：南京林业大学
技术研发日：2021.12.01
技术公布日：2022/3/8