一种多数据融合的车辆检测方法、系统、设备及存储介质

1.本发明涉及道路检测技术领域，特别涉及一种多数据融合的车辆检测方法、系统、设备及存储介质。


背景技术：

2.目前，交通信息统计技术是智能化交通系统领域中的重要课题，是实现车辆行驶和道路管理智能化的重要手段，也是适时向公众提供实时路况信息的依据。交通信息统计技术因其能够提供某路段某时刻的交通状况信息、车辆速度信息、某车辆何时经过某路段的信息，使车辆行驶和道路管理智能化、信息化，在提供交通效率、改善道路交通环境和节约交通能源方面具有重要意义。
3.目标跟踪、道路检测是智能交通的重要组成部分。为了实现碰撞预警及提醒车辆安全驾驶，需要检测车辆周围环境中的车辆的准确位置。在相关方案中，通常是在当前车辆上搭载激光雷达，通过激光雷达采集激光点云，然后通过激光点云和图像特征共同检测出前方道路的车辆。但在相关方案中，因为车载激光雷达在移动开放的环境中，所以仍存在如下缺陷：第一、车载激光雷达通常安装在车辆一侧，当安装于车辆其中一侧的激光雷达采集车辆另一侧的激光点云时，受到自身车辆的影响，激光投射面积有限，采集的激光点云连续性差；第二、车辆在道路行驶过程中，存在其它车辆遮挡车载激光，导致采集的激光点云部分缺失；第三、车辆激光的投射范围有限，存在远距离激光点云稀疏的缺陷。如图1(其中p1，p2，p3，p4为车辆，x1为激光雷达,x2为路边单元)所示，车载激光雷达x1安装在车辆p1的一侧，受到自身车辆的影响，激光投射面积有限，车辆p3不在x1的覆盖范围内。
4.综上，相关方案由于上述缺陷，将导致车辆检测的误差较大。


技术实现要素：

5.本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种多数据融合的车辆检测方法、系统、设备及存储介质，能够提高多数据融合的车辆检测的准确度。
6.本发明的第一方面，提供了一种多数据融合的车辆检测方法，包括如下步骤：
7.步骤s100、当目标车辆移动至路边单元的通信范围时，获取由所述路边单元采集前方道路的第一激光点云；
8.步骤s200、获取所述目标车辆采集前方道路的第二激光点云和rgb图像，其中所述第一激光点云和所述第二激光点云为时间同步采集；
9.步骤s300、融合所述第一激光点云和所述第二激光点云，得到第三激光点云：
10.步骤s301、对所述第一激光点云和所述第二激光点云进行预处理，并初始化所述第二激光点云的刚体变换矩阵；
11.步骤s302、提取所述第一激光点云中的多个第一关键点以及所述第二激光点云中的多个第二关键点；
12.步骤s303、对所述第一激光点云中的多个第一关键点和所述第二激光点云中的多
个第二关键点进行关键点匹配，并通过随机采样一致性方法在关键点匹配过程中剔除匹配异常的关键点对，得到最优的刚体变换矩阵；
13.步骤s304、根据所述最优的刚体变化矩阵，得到所述第三激光点云；
14.步骤s400、对所述rgb图像和所述第三激光点云进行多模态融合，得到融合特征信息；
15.步骤s500、从所述融合特征信息中检测出车辆选框。
16.根据本发明的实施例，至少具有如下技术效果：
17.(1)针对因道路交通是开放式环境，车载激光点云连续性差、部分缺失以及远距离激光点云稀疏导致的车辆检测的误差大的问题。本方法首先利用路边单元按照与目标车辆时间同步采集激光点云，然后利用路边单元采集的激光点云和目标车辆采集的激光点云进行融合处理，解决了因单一车载激光点云缺陷而导致的车辆检测误差大的缺陷，提高了车辆检测的准确度。
18.(2)由于车载激光雷达与路边单元的激光雷达在安装位置、高度、角度存在不同相同，因此需要对不同对象采集的激光点云进行高效高质的融合。本方法在对车载激光点云和路边单元采集的激光点云进行融合过程中，首先是对第一激光点云和第二激光点云进行预处理，并初始化第二激光点云的刚体变换矩阵；提取第一激光点云中的多个第一关键点以及第二激光点云中的多个第二关键点，去除多余和冗余的数据点，由多个第一关键点组合成的集合来表述第一激光点云，由多个第二关键点组合成的集合来表述第二激光点云，通过由多个第一关键点组合成的集合和多个第二关键点组合成的集合来参与后续计算，能够在确保激光点云的精度的前提下，降低计算量；对第一激光点云中的多个第一关键点和第二激光点云中的多个第二关键点进行关键点匹配，并通过随机采样一致性方法在关键点匹配过程中剔除匹配异常的关键点对，得到最优的刚体变换矩阵，去除匹配异常的点对，能够提高正确点对的比例，从而得到更为准确的刚体变换矩阵，从而提高后续检测车辆的准确度；根据最优的刚体变化矩阵，得到第三激光点云。能够提高融合激光点云的精度，最终提高了车辆检测的准确度，而且还能降低计算量。
19.(3)在融合车载激光雷达与路边单元的激光雷达采集的激光点云之后，对融合后的激光点云和车载摄像机采集的rgb图像进行多模态融合，最后基于多模态融合的结果得到车辆检测结果。本方法通过激光点云和rgb图像数据的多模态融合技术实现对车辆检测，能够提高车辆检测的准确度。
20.根据本发明的一些实施例，所述提取所述第一激光点云中的多个第一关键点，包括：
21.步骤s3021、计算所述第一激光点云中第i个数据点的邻域集合的重心：
[0022][0023]
其中，pi表示所述第一激光点云中的第i个数据点，w表示第i个数据点的邻居数据点的数量，o表示所述第一激光点云中的第i个数据点的邻域集合的重心；
[0024]
步骤s3022、构建法向量求解公式：
[0025][0026]
其中，p表示所述第一激光点云中的第i个数据点的邻域集合，n表示所述第一激光点云中的第i个数据点相应拟合曲面的法向量；
[0027]
步骤s3023、通过最小二乘法求解所述f，得到第i个数据点相应的法向量；
[0028]
步骤s3024、计算所述第一激光点云中的第i个数据点与所述第一激光点云中的第i个数据点的邻域集合中所有邻居数据点的法向量之间的夹角，并计算均值：
[0029][0030]
其中，θ
ij
表示所述第一激光点云中的第i个数据点的法向量与第j个邻居数据点的法向量之间的夹角，表示所述第一激光点云中的第i个数据点与全部邻居数据点的夹角的均值；
[0031]
步骤s3025、当所述满足预设的阈值范围，则将所述第一激光点云中的第i个数据点作为其中一个第一关键点；
[0032]
步骤s3026、重复上述提取过程，直至得到所述第一激光点云中的所有第一关键点。
[0033]
根据本发明的一些实施例，所述通过随机采样一致性方法在关键点匹配过程中剔除匹配异常的关键点对，得到最优的刚体变换矩阵，包括：
[0034]
在匹配的关键点对的集合中随机选取多个关键点对作为子集合；
[0035]
根据子集合中的全部关键点对，利用奇异值分解方法求解刚体变换矩阵；
[0036]
通过求解的刚体变换矩阵计算关键点对的集合中剩余的数据点对基于该刚体变换矩阵实现位置更新后的距离误差；
[0037]
判断距离误差是否大于阈值，将距离误差大于阈值的数据点作为待剔除的数据点，并且将距离误差小于阈值的数据点作为待保留的数据点；
[0038]
重复上述迭代过程，直至达到迭代的最大次数，将待保留的数据点的数量最多的一次迭代过程的刚体变换矩阵作为最优的刚体变换矩阵。
[0039]
根据本发明的一些实施例，所述对所述rgb图像和所述第三激光点云进行多模态融合，得到融合特征信息，包括：
[0040]
步骤s401、基于第一深度学习网络从所述rgb图像中提取第一车辆特征图；
[0041]
步骤s402、基于第二深度学习网络从所述第三激光点云中提取第二车辆特征图；
[0042]
步骤s403、对所述第一车辆特征图和所述第二车辆特征图进行区域大小选取和统一分辨率处理，并逐像素平均融合所述第一车辆特征图和所述第二车辆特征图，得到融合特征图；
[0043]
步骤s404、通过特征金字塔对所述融合特征图进行上采样以实现车辆特征提取；
[0044]
步骤s405、对所述特征金字塔的输出结果进行卷积降维处理，得到融合特征信息。
[0045]
根据本发明的一些实施例，所述第一深度学习网络为y0-lov3深度学习网络，所述第二深度学习网络为resnet网络。
[0046]
根据本发明的一些实施例，所述基于第一深度学习网络从所述rgb图像中提取第
一车辆特征图，包括：
[0047]
步骤s4011、根据darknet基础网络对所述rgb图像进行卷积，得到所述rgb图像下采样后的多尺度特征图；
[0048]
步骤s4012、根据多尺度网络对所述多尺度特征图进行学习，得到第一车辆特征图。
[0049]
根据本发明的一些实施例，所述从所述融合特征信息中检测出车辆选框，包括：
[0050]
步骤s501、对ssd网络进行改进，得到改进后的ssd网络，其中对ssd网络进行改进为：将所述ssd网络中的浅层特征图进行图像分辨率重建，并删除冗余的候选框尺寸和冗余的卷积层；
[0051]
步骤s502、通过所述改进后的ssd网络从所述融合结果中检测出车辆选框。
[0052]
本发明的第二方面，提供了一种多数据融合的车辆检测系统，包括：
[0053]
路边单元，搭载有第一激光雷达，所述第一激光雷达用于采集前方道路的第一激光点云；
[0054]
目标车辆，搭载有第二激光雷达、rgb摄像机和计算机，所述第二激光雷达用于与所述第一激光雷达同步采集前方道路的第二激光点云；所述rgb摄像机用于采集前方道路的rgb图像；所述计算机用于执行上述的多数据融合的车辆检测方法。
[0055]
本发明的第三方面，提供了一种电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行上述的多数据融合的车辆检测方法。
[0056]
本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机能够执行上述的多数据融合的车辆检测方法。
[0057]
需要注意的是，本发明的第二方面至第四方面与现有技术之间的有益效果与上述的多数据融合的车辆检测方法与现有技术之间的有益效果相同，此处不再细述。
[0058]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0059]
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0060]
图1为模拟车辆道路行驶的示意图；
[0061]
图2为本发明一个实施例提供的多数据融合的车辆检测方法的流程示意图；
[0062]
图3为本发明另一个实施例提供的多数据融合的车辆检测方法的流程示意图；
[0063]
图4为本发明另一个实施例提供的多数据融合的车辆检测方法的流程示意图；
[0064]
图5为本发明一个实施例提供的融合第一激光点云和第二激光点云的示意图；
[0065]
图6为本发明一个实施例提供的特征金字塔的结构示意图；
[0066]
图7为本发明一个实施例提供的改进的ssd网络的结构示意图。
具体实施方式
[0067]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0068]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0069]
在相关方案中，因为车载激光在移动开放的环境中，所以仍存在如下缺陷：第一、车载激光通常安装在车辆一侧，当安装于车辆其中一侧的激光雷达采集车辆另一侧的激光点云时，受到自身车辆的影响，激光投射面积有限，采集的激光点云连续性差；第二、车辆在道路行驶过程中，存在其它车辆遮挡车载激光，导致采集的激光点云部分缺失；第三、车辆激光的投射范围有限，存在远距离激光点云稀疏的缺陷。由于上述缺陷，将导致相关方案的道路车辆识别的误差较大。
[0070]
参照图1，本发明的一个实施例，提供了一种多数据融合的车辆检测系统，包括：
[0071]
路边单元，搭载有第一激光雷达，第一激光雷达用于采集前方道路的第一激光点云。路边单元搭载激光雷达的方式为领域公知，此处不进行限制。需要注意的是，本文实施例不限定路边单元的数量。
[0072]
目标车辆，搭载有第二激光雷达、rgb摄像机和计算机，第二激光雷达用于与第一激光雷达同步采集前方道路的第二激光点云。rgb摄像机用于采集前方道路的rgb图像。计算机用于执行如下实施例所示的多数据融合的车辆检测方法。目标车辆为当前正在道路中行驶的车辆，目标车辆搭载有第二激光雷达、rgb摄像机和计算机，计算机与路边单元、第二激光雷达和rgb摄像机建立通信连接。通常的，第二激光雷达安装在目标车辆的一侧。rgb摄像机安装在目标车辆的车顶，以获得最大拍摄视角。计算机位于目标车辆内部，计算机可以是车载微机，也可以是pc设备，此处不进行具体限制。
[0073]
本系统实施例用于执行如下所述的一种多数据融合的车辆检测方法，如图2至图7所示，本多数据融合的车辆检测方法，包括如下过程：
[0074]
步骤s100、当目标车辆移动至路边单元的通信范围时，获取由路边单元采集前方道路的第一激光点云。在步骤s100中，目标车辆在道路上行驶，当目标车辆行驶至路边单元的通信覆盖范围时，路边单元将采集的前方道路的第一激光点云传输至目标车辆的计算机。
[0075]
步骤s200、获取目标车辆采集前方道路的第二激光点云和rgb图像。在步骤s200中，目标车辆上的激光雷达与路边单元的激光雷达是按照时间同步采集。目标车辆的激光雷达采集前方道路的第二激光点云，并传输至计算机。目标车辆的rgb摄像机拍摄前方道路的rgb图像，并传输至计算机。
[0076]
步骤s300、融合第一激光点云和第二激光点云，得到第三激光点云。
[0077]
步骤s301、对第一激光点云和第二激光点云进行预处理，并初始化第二激光点云的刚体变换矩阵。在步骤s301中，首先对第一激光点云和第二激光点云进行预处理，以实现两个激光点云的时间校准，这里通过外部时间源gps进行辅助校准。然后初始化第二激光点云的刚体变换矩阵，初始化刚体变换矩阵的目的是为了避免出现局部最优解，初始化刚体变化矩阵为icp(iterative closest point，迭代最近点)算法中的特征，icp算法是基于最小二乘法的最优配准方法，其重复进行选择对应关系点对，计算最优刚体变换，直到满足正确配准的收敛精度要求此处不再细述。
[0078]
步骤s302、提取第一激光点云中的多个第一关键点以及第二激光点云中的多个第二关键点。
[0079]
在相关方案中，激光点云是由一系列的数据点组成，激光点云中存在着较多的冗余数据点。因此，与传统icp算法不同的是，由于激光点云是由一系列离散的数据点组成，步骤s302从第一激光点云中提取多个第一关键点以及从第二激光点云中提取多个第二关键点，去除多余和冗余的数据点，由多个第一关键点组合成的集合来表述第一激光点云，由多个第二关键点组合成的集合来表述第二激光点云，通过由多个第一关键点组合成的集合和多个第二关键点组合成的集合来参与后续计算，能够在确保激光点云的精度的前提下，降低计算量。
[0080]
这里以提取第一激光点云中的多个第一关键点为例，步骤s302是通过法向量的阈值提取第一关键点，具体包括如下步骤(需要注意的是，提取第二激光点云中的多个第二关键点为同理)：
[0081]
步骤s3021、计算第一激光点云中第i个数据点的邻域集合的重心：
[0082][0083]
其中，pi表示第一激光点云中的第i个数据点，w表示第i个数据点的邻居数据点的数量，o表示第一激光点云中的第i个数据点的邻域集合的重心。
[0084]
步骤s3022、构建法向量求解公式：
[0085][0086]
其中，p表示第一激光点云中的第i个数据点的邻域集合，n表示第一激光点云中的第i个数据点相应拟合曲面的法向量。
[0087]
步骤s3023、通过最小二乘法求解f，得到第i个数据点相应的法向量。激光点云是由一系列离散的数据点组成，其不能直接计算出法向量，因此本方法实施例将求解“f”最小值问题转换成求解协方差矩阵的最小特征值：
[0088]
[0089]
其中，pi的坐标为(xi,yi,zi)，重心o的坐标为(o
x
,oy,oz)。
[0090]
算出该对称矩阵a的最小特征值所相应的特征向量，将该特征向量作为第i个数据点pi的法向量，并且统一法向量的方向：
[0091]
ax＝z
[0092][0093]
x＝{a,b,c}
t
[0094]
步骤s3024、计算第一激光点云中的第i个数据点与第一激光点云中的第i个数据点的邻域集合中所有邻居数据点的法向量之间的夹角，并计算均值：
[0095][0096]
其中，θ
ij
表示第一激光点云中的第i个数据点的法向量与第j个邻居数据点的法向量之间的夹角，表示第一激光点云中的第i个数据点与全部邻居数据点之间的夹角的均值。
[0097]
步骤s3025、当满足预设的阈值范围，则将第一激光点云中的第i个数据点作为其中一个第一关键点。设预设的阈值为ε(可根据实际情况进行人为设定)，当时，则第一激光点云中的第i个数据点与其邻居数据点的变换幅度大，意味着该数据点特征较优，因此可将该数据点作为第一激光点云的其中一个关键点。相反的，当时，则意味着该数据点与其邻居数据点的变换幅度小，该数据点特征较差，较为平坦，该点不选为关键点。
[0098]
步骤s3026、重复上述提取过程，直至得到第一激光点云中的所有第一关键点。
[0099]
由于法向量的夹角能够表征数据点及其邻域形成曲面的变化幅度，因此本实施例的步骤s3021至步骤s3026，采用数据点的法向量的数学几何特征来选取出关键点，选取出的关键点与其邻居数据点之间的变换幅度大，特征较优，通过选取出的关键点构建关键点集合，通过关键点集合来表述该激光点云，能够极大的降低计算量，加快后续关键点匹配的速度。
[0100]
步骤s303、对第一激光点云中的多个第一关键点和第二激光点云中的多个第二关键点进行关键点匹配，并通过随机采样一致性方法在关键点匹配过程中剔除匹配异常的关键点对，得到最优的刚体变换矩阵。在一些实施例中，步骤s303包括：
[0101]
步骤s3031、对第一激光点云中的多个第一关键点和第二激光点云中的多个第二关键点进行关键点匹配。这里可以计算第一关键点和第二关键点之间的欧式距离，选取欧式距离最小的第一关键点和第二关键点进行数据关联，确定关键点对。
[0102]
步骤s3032、通过随机采样一致性方法在关键点匹配过程中剔除匹配异常的关键点对。去除错误点对，能够提高正确点对的几率，从而得到更为准确的刚体变换矩阵，从而提高后续检测车辆的准确度。
[0103]
在一具体实例当中，步骤s3032主要包括以下过程：
[0104]
第一步、在匹配的关键点对的集合中随机选取多个关键点对作为子集合。
[0105]
第二步、根据子集合中的全部关键点对，利用奇异值分解方法求解刚体变换矩阵。
[0106]
第三步、通过求解的刚体变换矩阵计算关键点对的集合中剩余的数据点对基于该刚体变换矩阵实现位置更新后的距离误差。
[0107]
第四步、判断距离误差是否大于阈值，将距离误差大于阈值的数据点作为待剔除的数据点，并且将距离误差小于阈值的数据点作为待保留的数据点。
[0108]
第五步、重复迭代过程，直至达到迭代的最大次数(需要注意的是，最大次数为提前预设)。将待保留的数据点的数量最多的一次迭代过程的刚体变换矩阵作为最优的刚体变换矩阵。
[0109]
相较于传统的icp算法实现激光点云之间的配准。本方法实施例进一步剔除了异常的关键点对，不仅能够提高后续计算的效率，而且能够提高后续检测的准确度。
[0110]
步骤s304、根据最优的刚体变化矩阵，得到第三激光点云。基于传统的icp算法，这里基于最优的刚体变化矩阵进行坐标转换参数实现数据融合，得到第三激光点云，这里为本领域公知常识，此处不再细述。
[0111]
步骤s400、对rgb图像和第三激光点云进行多模态融合，得到融合特征信息。在一些实施例中，步骤s400具体包括如下过程：
[0112]
步骤s401、基于第一深度学习网络从rgb图像中提取第一车辆特征图。在一些实施例中，考虑到rgb图像中具有车辆的有序特征，步骤s401中的第一深度学习网络为y0-lov3深度学习网络，通过y0-lov3深度学习网络提取rgb图像中车辆的高维特征。
[0113]
在一些实施例中，步骤s401具体包括如下过程：
[0114]
步骤s4011、根据darknet基础网络对rgb图像进行卷积，得到rgb图像下采样后的多尺度特征图。
[0115]
步骤s4012、根据多尺度网络对多尺度特征图进行学习，得到第一车辆特征图。
[0116]
在一具体的示例中，首先将rgb图像输入至darknet-53网络(属于darknet基础网络)中进行5次步长为2的卷积，获取13乘13，26乘26和52乘52这三种尺度的特征图。然后将13乘13，26乘26和52乘52这三种尺度的特征图输入至多尺度网络中，得到多尺度网络输出下采样的13乘13特征图，将13乘13特征图作为第一尺度特征图，对第一尺度特征图进行上采样与下采样的26乘26特征图连接得到第二尺度特征图，对26乘26的特征图进行上采样与下采样的52乘52特征图连接得到第三尺度特征图。考虑到rgb图像中具有车辆的有序特征，通过y0-lov3深度学习网络对近距离车辆特征具有较高的检测率，能够有效的提取rgb图像中车辆的高维特征。
[0117]
步骤s402、基于第二深度学习网络从第三激光点云中提取第二车辆特征图。在一些实施例中，第二深度学习网络为resnet网络(一种常见的深度神经网络)。
[0118]
步骤s403、对第一车辆特征图和第二车辆特征图进行区域大小选取和统一分辨率处理，并逐像素平均融合第一车辆特征图和第二车辆特征图，得到融合特征图。首先进行第一车辆特征图和第二车辆特征图的剪裁，以实现区域选取并调整大小；然后将统一分辨率的第一车辆特征图和第二车辆特征图进行逐像素平均融合，得到具备高级特征的融合特征图。
[0119]
步骤s404、通过特征金字塔对融合特征图进行上采样以实现车辆特征提取。
[0120]
将步骤s403得到的融合特征图输入至特征金字塔中，对输入的融合特征图进行上
采样，并采用横向结构将其连接至前一层特征使特征增强。本实施例通过特征金字塔实现对多分辨率的车辆检测，能够确保每层具备适合的分辨率和强语义特征。而且由于上述步骤s4012中通过多尺度网络对多尺度特征图进行学习，得到多尺度特征图，通过特征金字塔能够很好的解决多尺度问题。
[0121]
步骤s405、对特征金字塔的输出结果进行卷积降维处理，得到融合特征信息。
[0122]
特征金字塔将提取大量的特征，这样极大增加了计算量，为了降低计算量，在步骤s405中，通过卷积降维处理以减少卷积核的数量，从而确保特征图的尺寸不变化的情况下，实现降维，减少特征数量，降低计算复杂度。
[0123]
步骤s500、从融合特征信息中检测出车辆选框。在一些实施例中，步骤s500通过如下方式检测出车辆选框：
[0124]
步骤s501、对ssd网络进行改进，得到改进后的ssd网络，其中对ssd网络进行改进为：
[0125]
将ssd网络中的浅层特征图进行图像分辨率重建，并删除冗余的候选框尺寸和冗余的卷积层。
[0126]
步骤s502、通过改进后的ssd网络从融合结果中检测出车辆选框。
[0127]
在相关方案中，一般通过ssd网络提取出车辆选框，ssd算法为端对端的目标检测算法，其网络架构与faster rcnn类似，检测速度较快但是检测的精度不如faster rcnn。为了在确保ssd网络的检测速度的前提下，提升检测的精度，本方法将ssd网络中的浅层特征图进行图像分辨率重建，并删除冗余的候选框尺寸和冗余的卷积层。在一具体实例中，首先剔除长宽比为1/3的候选框(这是因为长宽比为1/3的候选框的匹配率较低，存在错误检测的可能)和conv10-2卷积层(其为冗余的卷积层)，然后将剔除后的ssd网络结构与超分辨率重建结构的特征进行融合，从而实现了对传统ssd网络的改进。相较于传统ssd网络，通过改进后的ssd网络从融合结果中检测出车辆选框的检测精度会更高，同时检测的速度同样得到了保证。
[0128]
本方法实施例具备如下有益效果：
[0129]
针对因道路交通是开放式环境，车载激光点云连续性差、部分缺失以及远距离激光点云稀疏导致的车辆检测的误差大的问题。本方法首先利用路边单元按照与目标车辆时间同步采集激光点云，然后利用路边单元采集的激光点云和目标车辆采集的激光点云进行融合处理，解决了因单一车载激光点云缺陷而导致的车辆检测误差大的缺陷，提高了车辆检测的准确度。
[0130]
由于车载激光雷达与路边单元的激光雷达在安装位置、高度、角度存在不同相同，因此需要对不同对象采集的激光点云进行高效高质的融合。本方法在对车载激光点云和路边单元采集的激光点云进行融合过程中，首先是对第一激光点云和第二激光点云进行预处理，并初始化第二激光点云的刚体变换矩阵；提取第一激光点云中的多个第一关键点以及第二激光点云中的多个第二关键点，去除多余和冗余的数据点，由多个第一关键点组合成的集合来表述第一激光点云，由多个第二关键点组合成的集合来表述第二激光点云，通过由多个第一关键点组合成的集合和多个第二关键点组合成的集合来参与后续计算，能够在确保激光点云的精度的前提下，降低计算量；对第一激光点云中的多个第一关键点和第二激光点云中的多个第二关键点进行关键点匹配，并通过随机采样一致性方法在关键点匹配
过程中剔除匹配异常的关键点对，得到最优的刚体变换矩阵，去除匹配异常的点对，能够提高正确点对的比例，从而得到更为准确的刚体变换矩阵，从而提高后续检测车辆的准确度；根据最优的刚体变化矩阵，得到第三激光点云。能够提高融合激光点云的精度，最终提高了车辆检测的准确度，而且还能降低计算量。
[0131]
进一步的，在关键点的选取过程中，采用数据点的法向量的数学几何特征来选取出关键点，选取出的关键点与其邻居数据点之间的变换幅度大，特征较优，通过选取出的关键点构建关键点集合，通过关键点集合来表述该激光点云，能够极大的降低计算量，加快后续关键点匹配的速度。
[0132]
在融合车载激光雷达与路边单元的激光雷达采集的激光点云之后，对融合后的激光点云和车载摄像机采集的rgb图像进行多模态融合，最后基于多模态融合的结果得到车辆检测结果。本方法通过激光点云和rgb图像数据的多模态融合技术实现对车辆检测，能够提高车辆检测的准确度。
[0133]
进一步的，对激光点云和rgb图像的多模态融合中，结合特征金字塔提取高层特征，提高复杂场景下车辆检测精度，而且还能很好的解决多尺度问题。考虑到rgb图像中具有车辆的有序特征，通过y0-lov3深度学习网络对近距离车辆特征具有较高的检测率，能够有效的提取rgb图像中车辆的高维特征。通过对传统的ssd网络进行改进，即将ssd网络中的浅层特征图进行图像分辨率重建，并删除冗余的候选框尺寸和冗余的卷积层。通过改进后的ssd网络从融合结果中检测出车辆选框的检测精度会更高，同时检测的速度同样得到了保证。
[0134]
本发明的一个实施例，提供了一种电子设备；该电子设备可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。具体地，该电子设备包括：一个或多个控制处理器和存储器，本实例以一个控制处理器为例。控制处理器和存储器可以通过总线或者其他方式连接，本实例以通过总线连接为例。
[0135]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，控制处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而实现上述方法实施例的多数据融合的车辆检测方法。存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个控制处理器执行时，执行上述方法实施例中的多数据融合的车辆检测方法。例如，执行以上描述的图2中的方法步骤s100至s500，图3中的方法步骤s301至s304和图4中的方法步骤s401至s405。
[0136]
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，可使得上述一个或多个控制处理器执行上述方法实施例中的多数据融合的车辆检测方法。例如，执行以上描述的图2中的方法步骤s100至s500，图3中的方法步骤s301至s304和图4中的方法步骤s401至s405。
[0137]
通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0138]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0139]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

技术特征：
1.一种多数据融合的车辆检测方法，其特征在于，包括如下步骤：步骤s100、当目标车辆移动至路边单元的通信范围时，获取由所述路边单元采集前方道路的第一激光点云；步骤s200、获取所述目标车辆采集前方道路的第二激光点云和rgb图像，其中所述第一激光点云和所述第二激光点云为时间同步采集；步骤s300、融合所述第一激光点云和所述第二激光点云，得到第三激光点云：步骤s301、对所述第一激光点云和所述第二激光点云进行预处理，并初始化所述第二激光点云的刚体变换矩阵；步骤s302、提取所述第一激光点云中的多个第一关键点以及所述第二激光点云中的多个第二关键点；步骤s303、对所述第一激光点云中的多个第一关键点和所述第二激光点云中的多个第二关键点进行关键点匹配，并通过随机采样一致性方法在关键点匹配过程中剔除匹配异常的关键点对，得到最优的刚体变换矩阵；步骤s304、根据所述最优的刚体变化矩阵，得到所述第三激光点云；步骤s400、对所述rgb图像和所述第三激光点云进行多模态融合，得到融合特征信息；步骤s500、从所述融合特征信息中检测出车辆选框。2.根据权利要求1所述的多数据融合的车辆检测方法，其特征在于，所述提取所述第一激光点云中的多个第一关键点，包括：步骤s3021、计算所述第一激光点云中第i个数据点的邻域集合的重心：其中，p
i
表示所述第一激光点云中的第i个数据点，w表示第i个数据点的邻居数据点的数量，o表示所述第一激光点云中的第i个数据点的邻域集合的重心；步骤s3022、构建法向量求解公式：其中，p表示所述第一激光点云中的第i个数据点的邻域集合，n表示所述第一激光点云中的第i个数据点相应拟合曲面的法向量；步骤s3023、通过最小二乘法求解所述f，得到第i个数据点相应的法向量；步骤s3024、计算所述第一激光点云中的第i个数据点与所述第一激光点云中的第i个数据点的邻域集合中所有邻居数据点的法向量之间的夹角，并计算均值：其中，θ
ij
表示所述第一激光点云中的第i个数据点的法向量与第j个邻居数据点的法向量之间的夹角，表示所述第一激光点云中的第i个数据点与全部邻居数据点的夹角的均值；步骤s3025、当所述满足预设的阈值范围，则将所述第一激光点云中的第i个数据点作
为其中一个第一关键点；步骤s3026、重复上述提取过程，直至得到所述第一激光点云中的所有第一关键点。3.根据权利要求2所述的多数据融合的车辆检测方法，其特征在于，所述通过随机采样一致性方法在关键点匹配过程中剔除匹配异常的关键点对，得到最优的刚体变换矩阵，包括：在匹配的关键点对的集合中随机选取多个关键点对作为子集合；根据子集合中的全部关键点对，利用奇异值分解方法求解刚体变换矩阵；通过求解的刚体变换矩阵计算关键点对的集合中剩余的数据点对基于该刚体变换矩阵实现位置更新后的距离误差；判断距离误差是否大于阈值，将距离误差大于阈值的数据点作为待剔除的数据点，并且将距离误差小于阈值的数据点作为待保留的数据点；重复上述迭代过程，直至达到迭代的最大次数，将待保留的数据点的数量最多的一次迭代过程的刚体变换矩阵作为最优的刚体变换矩阵。4.根据权利要求3所述的多数据融合的车辆检测方法，其特征在于，所述对所述rgb图像和所述第三激光点云进行多模态融合，得到融合特征信息，包括：步骤s401、基于第一深度学习网络从所述rgb图像中提取第一车辆特征图；步骤s402、基于第二深度学习网络从所述第三激光点云中提取第二车辆特征图；步骤s403、对所述第一车辆特征图和所述第二车辆特征图进行区域大小选取和统一分辨率处理，并逐像素平均融合所述第一车辆特征图和所述第二车辆特征图，得到融合特征图；步骤s404、通过特征金字塔对所述融合特征图进行上采样以实现车辆特征提取；步骤s405、对所述特征金字塔的输出结果进行卷积降维处理，得到融合特征信息。5.根据权利要求4所述的多数据融合的车辆检测方法，其特征在于，所述第一深度学习网络为y0-l0v3深度学习网络，所述第二深度学习网络为resnet网络。6.根据权利要求5所述的多数据融合的车辆检测方法，其特征在于，所述基于第一深度学习网络从所述rgb图像中提取第一车辆特征图，包括：步骤s4011、根据darknet基础网络对所述rgb图像进行卷积，得到所述rgb图像下采样后的多尺度特征图；步骤s4012、根据多尺度网络对所述多尺度特征图进行学习，得到第一车辆特征图。7.根据权利要求4所述的多数据融合的车辆检测方法，其特征在于，所述从所述融合特征信息中检测出车辆选框，包括：步骤s501、对ssd网络进行改进，得到改进后的ssd网络，其中对ssd网络进行改进为：将所述ssd网络中的浅层特征图进行图像分辨率重建，并删除冗余的候选框尺寸和冗余的卷积层；步骤s502、通过所述改进后的ssd网络从所述融合结果中检测出车辆选框。8.一种多数据融合的车辆检测系统，其特征在于，包括：路边单元，搭载有第一激光雷达，所述第一激光雷达用于采集前方道路的第一激光点云；目标车辆，搭载有第二激光雷达、rgb摄像机和计算机，所述第二激光雷达用于与所述
第一激光雷达同步采集前方道路的第二激光点云；所述rgb摄像机用于采集前方道路的rgb图像；所述计算机用于执行权利要求1至7任一项所述的多数据融合的车辆检测方法。9.一种电子设备，其特征在于：包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行权利要求1至7任一项所述的多数据融合的车辆检测方法。10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机能够执行权利要求1至7任一项所述的多数据融合的车辆检测方法。

技术总结
本发明公开了一种多数据融合的车辆检测方法、系统、设备及存储介质，本发明利用路边单元采集的激光点云和目标车辆采集的激光点云进行融合处理，解决了因单一车载激光点云缺陷而导致的车辆检测误差大的缺陷，提高了车辆检测的准确度；对激光点云进行融合过程中，提取第一激光点云中的多个第一关键点以及第二激光点云中的多个第二关键点，去除多余和冗余的数据点，能够在确保激光点云的精度的前提下，降低计算量；通过随机采样一致性方法在关键点匹配过程中剔除匹配异常的关键点对，能够提高正确点对的比例，提高后续检测车辆的准确度；通过激光点云和RGB图像数据的多模态融合技术实现对车辆检测，能够提高车辆检测的准确度。能够提高车辆检测的准确度。能够提高车辆检测的准确度。


技术研发人员：周涂强 彭理群 张赛飞 邬婉婷 叶建明 张佳琪 涂伊涵
受保护的技术使用者：华东交通大学
技术研发日：2021.12.07
技术公布日：2022/3/8