一种点云数据质检修复方法及系统与流程

1.本发明涉及机器学习及图像识别领域，更具体地，涉及一种点云数据质检修复方法及系统。


背景技术：

2.在高精地图领域，制图质检作为高精地图生产过程中非常重要的环节，对其制图效率的发展非常重要。目前制图质检工作主要由人工检查点云地图数据和后期nds数据，而其中点云数据的质检是整个地图制作内业作业的开端，及时发现问题数据可尽早修复或重新采集数据，目前的人工质检的效率严重制约了高精地图的生产。


技术实现要素：

3.本发明针对现有技术中存在的技术问题，提供一种点云数据质检修复方法及系统。
4.根据本发明的第一方面，提供了一种点云数据质检修复方法，包括：
5.提取待修复点云数据中的多个关键点特征；
6.基于所述多个关键点特征，对所述待修复点云数据的错误缺陷部分进行识别；
7.评估所述待修复点云数据的错误缺陷部分的错误缺陷程度；
8.通过设定程度阈值将所述待修复点云数据调度给人工终端或ai修复终端，对所述待修复点云数据进行质检修复。
9.在上述技术方案的基础上，本发明还可以作出如下改进。
10.可选的，所述提取待修复点云数据中的多个关键点特征，包括：
11.遍历所述待修复点云数据的每一个深度图像点，通过寻找在近邻区域有深度突变的位置进行边缘检测；
12.遍历每个深度图像点，根据近邻区域的表面变化决定一测度表面变化的系数，以及变化的主方向；
13.根据所述变化的主方向计算兴趣值，所述兴趣值表征所述变化的主方向与其他方向的不同，以及该深度突变的位置处表面的变化情况；
14.对找到的多个兴趣点进行平滑过滤，无最大值压缩找到最终的关键点。
15.可选的，所述基于所述多个关键点特征，对所述待修复点云数据的错误缺陷部分进行识别，包括：
16.将所述多个关键特征点转化为正射图；
17.基于所述正射图，通过深度学习推理得到缺陷空洞平面位置；
18.将所述缺陷空洞平面位置反推到点云中，确定缺陷位置。
19.可选的，所述待修复点云数据为道路点云数据，所述错误缺陷部分包括但不限于道路的断开缺失。
20.可选的，所述评估所述待修复点云数据的错误缺陷部分的错误缺陷程度，包括：
21.对所述待修复点云数据的错误缺陷部分的错误严重程度进行量化评估，根据错误严重程度将所述待修复点云数据分别标记为问题数据和初步合格数据。
22.可选的，所述通过设定程度阈值将所述待修复点云数据调度给人工终端或ai修复终端，对所述待修复点云数据进行质检修复，包括：
23.将所述初步合格数据调度给人工终端，对所述问题数据进行设定程度阈值的判断，将错误严重程度超过设定程度阈值的点云数据标记为严重错误数据，将错误严重程度未超过设定程度阈值的点云数据标记为轻微错误数据；
24.将严重错误数据调度给人工终端进行人工修复质检，以及将轻微严重数据调度给ai修复终端进行修复。
25.可选的，所述将轻微严重数据调度给ai修复终端进行修复，之后还包括：
26.将ai修复终端进行修复后的点云数据扭转给人工终端；
27.相应的，人工终端对所述初始合格数据、ai修复终端进行修复后的点云数据以及严重错误数据进行人工质检修复，不合格点云数据需要重新进行修复。
28.可选的，所述人工终端对所述初始合格数据、ai修复终端进行修复后的点云数据以及严重错误数据进行人工质检修复，不合格点云数据需要重新进行修复，还包括：
29.对于所述严重错误数据，质检判断是否需要重新采集，如果需要重新采集，则丢弃，并进行重新采集，如果不需要重新采集，则进行人工质检修复。
30.可选的，所述ai修复终端为基于质检修复后的合格点云数据以及对应的原始错误点云数据训练得到。
31.根据本发明的第二方面，提供一种点云数据质检修复系统，包括机器质检系统、调度系统、人工终端和ai修复终端；
32.所述机器质检系统，用于提取待修复点云数据中的多个关键点特征；以及基于所述多个关键点特征，对所述待修复点云数据的错误缺陷部分进行识别；还用于评估所述待修复点云数据的错误缺陷部分的错误缺陷程度；
33.调度系统，用于通过设定程度阈值将所述待修复点云数据调度给人工终端或ai修复终端，对所述待修复点云数据进行质检修复。
34.本发明提供的一种点云数据质检修复方法及系统，采取智能调度系统来对云图数据问题特征的提取和识别从而进行分类，分配合适的数据交由下游ai修复终端纠正，另一部分由人工处理，处理后的数据可用来对调度系统ai部分进行训练，从而提高机器识别效率和纠正效果。
附图说明
35.图1为本发明提供的一种点云数据质检修复方法流程图；
36.图2为点云数据质检修复方法的整体流程图；
37.图3为本发明提供的一种点云数据质检修复系统的结构示意图。
具体实施方式
38.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
39.人工质检的效率严重制约了高精地图的生产，这时需要一种调度系统运用ai来给点云数据进行合理的质量分类，一部分数据交由机器纠正，一部分数据由人工审核处理，达到提高效率的目的。
40.实施例一
41.一种点云数据质检修复方法，参见图1，主要包括以下步骤：
42.s1，提取待修复点云数据中的多个关键点特征。
43.作为实施例，所述提取待修复点云数据中的多个关键点特征，包括：遍历所述待修复点云数据的每一个深度图像点，通过寻找在近邻区域有深度突变的位置进行边缘检测；遍历每个深度图像点，根据近邻区域的表面变化决定一测度表面变化的系数，以及变化的主方向；根据所述变化的主方向计算兴趣值，所述兴趣值表征所述变化的主方向与其他方向的不同，以及该深度突变的位置处表面的变化情况；对找到的多个兴趣点进行平滑过滤，无最大值压缩找到最终的关键点，达到缩减数据量的目的。
44.具体的，对待修复的点云数据进行修复之前，需要对待修复的点云数据进行错误缺失识别，因此，需要对待修复点云数据进行关键点特征的提取，其中，本发明实施例中，待修复点云数据为道路点云数据。
45.关键点是为了从深度图像中识别物体而提出的，关键点探测的重要一步是减少特征提取时的搜索空间，把重点放在重要的结构上，对narf关键点提取过程有以下要求：
46.(1)提取的过程必须考虑物体边缘以及物体表面变化信息；
47.(2)即使换了不同的视角，关键点的位置必须稳定的可以被重复探测；
48.(3)关键点所在的位置必须有稳定的支持区域，可以计算描述子和估计唯一的法向量。
49.为了满足上述要求，本发明实施例可以通过以下探测步骤来进行关键点提取：
50.(1)遍历点云数据的每个深度图像点，通过寻找在近邻区域有深度突变的位置进行边缘检测；
51.(2)遍历每个深度图像点，根据近邻区域的表面变化决定一测度表面变化的系数，以及变化的主方向；
52.(3)根据第(2)步找到的主方向计算兴趣值，表征该方向与其他方向的不同，以及该处表面的变化情况，即该点有多稳定；
53.(4)对兴趣值进行平滑过滤；
54.(5)进行无最大值压缩找到最终的关键点，即为narf关键点。
55.s2，基于所述多个关键点特征，对所述待修复点云数据的错误缺陷部分进行识别。
56.作为实施例，所述基于所述多个关键点特征，对所述待修复点云数据的错误缺陷部分进行识别，包括：将多个关键特征点转化为正射图；基于所述正射图，通过深度学习推理得到缺陷空洞平面位置；将缺陷空洞平面位置反推到点云中，确定缺陷位置。
57.s3，评估所述待修复点云数据的错误缺陷部分的错误缺陷程度。
58.作为实施例，所述评估所述待修复点云数据的错误缺陷部分的错误缺陷程度，包括：对所述待修复点云数据的错误缺陷部分的错误严重程度进行量化评估，根据错误严重程度将所述待修复点云数据分别标记为问题数据和初步合格数据。
59.可以理解的是，基于步骤s1从点云数据中提取的关键点特征，步骤s2根据从点云
数据中提取的多个关键特征点，对点云数据中的错误缺陷位置进行识别，比如道路的断开缺失。根据识别出的错误缺陷的数量和大小对点云数据的错误严重程度进行量化评估，分别标记为问题数据和初步合格数据。
60.s5，通过设定程度阈值将所述待修复点云数据调度给人工终端或ai修复终端，对所述待修复点云数据进行质检修复。
61.作为实施例，所述通过设定程度阈值将所述待修复点云数据调度给人工终端或ai修复终端，对所述待修复点云数据进行质检修复，包括：将所述初步合格数据调度给人工终端，对所述问题数据进行设定程度阈值的判断，将错误严重程度超过设定程度阈值的点云数据标记为严重错误数据，将错误严重程度未超过设定程度阈值的点云数据标记为轻微错误数据；将严重错误数据调度给人工终端进行人工修复质检，以及将轻微严重数据调度给ai修复终端进行修复。
62.具体的，上述步骤s3和s4对点云数据的错误缺失程度进行评估后，将点云数据送入调度系统，将初步合格数据直接扭转到人工终端。问题数据会在调度系统内进行人工质检质量阈值判断，也就是点云数据的错误缺失程度的判断，达到错误缺失程度达到设定程度阈值的数据为严重错误数据需要调度到人工终端进行人工质检，未达到该阈值的数据为轻微错误数据需调度到ai修复终端。
63.ai修复终端中将由ai修复引擎进行数据修复，修复后的数据将扭转到人工终端进行人工最后质检。严重错误数据将由人工质检判断是否需要重新采集，不需要重新采集的数据和由调度系统扭转来的初步合格数据将由人工修复，并进行人工最后质检，不合格数据需要重新修复。
64.其中，对于ai修复终端中的ai修复引擎，为基于质检修复后的合格点云数据以及对应的原始错误点云数据训练得到。
65.具体的，质检修复后的合格点云数据会选取适合机器学习的部分连同原始错误数据可提供给ai修复引擎进行模型训练。使ai修复引擎升级从而有更强的修复能力，进而调度系统中的人工质检阈值可以重新设置，调度更复杂的错误数据给ai修复终端处理。
66.实施例二
67.一种点云数据质检修复方法，参见图2，该质检修复方法主要包括：提取待修复点云数据中的多个关键点特征；基于所述多个关键点特征，对所述待修复点云数据的错误缺陷部分进行识别；评估所述待修复点云数据的错误缺陷部分的错误缺陷程度；通过设定程度阈值将所述待修复点云数据调度给人工终端或ai修复终端，对所述待修复点云数据进行质检修复。
68.可以理解的是，本发明实施例提供的点云数据质检修复方法，首先会对采集来的初步格式化处理的点云数据使用关键点提取算法压缩减小数据量；接着，采取特征提取和识别的算法对数据缺失或断开的部分进行识别；之后，对数据缺失错误程度进行量化评估，并在人工设定的阈值下调度给后续的机器和人工；最后选取合适人工修复的数据对数据修复ai进行有效训练。通过以上步骤可以显著提高制图质检的效率和质量，产出的数据又能对ai修复数据的能力得到提升，使整个调度系统的效率越来越高。
69.实施例三
70.一种点云数据质检修复系统，参见图3，该点云数据质检修复系统包括机器质检系
统31、调度系统32、人工终端33和ai修复终端34；
71.其中，机器质检系统31，用于提取待修复点云数据中的多个关键点特征；以及基于所述多个关键点特征，对所述待修复点云数据的错误缺陷部分进行识别；还用于评估所述待修复点云数据的错误缺陷部分的错误缺陷程度；调度系统32，用于通过设定程度阈值将所述待修复点云数据调度给人工终端33或ai修复终端34，对所述待修复点云数据进行质检修复。
72.其中，所述ai修复终端34为基于质检修复后的合格点云数据以及对应的原始错误点云数据训练得到。
73.可以理解的是，本发明提供的一种点云数据质检修复系统与前述各实施例提供的点云数据质检修复方法相对应，点云数据质检修复系统的相关技术特征可参考点云数据质检修复方法的相关技术特征，在此不再赘述。
74.本发明实施例提供的一种点云数据质检修复方法及系统，首先对采集来的初步格式化处理的点云数据使用关键点提取算法压缩减小数据量；接着，采取特征提取和识别的算法对数据缺失或断开的部分进行识别；之后，对数据缺失错误程度进行量化评估，并在人工设定的阈值下调度给后续的机器和人工；最后选取合适人工修复的数据对数据修复ai进行有效训练。通过以上步骤可以显著提高制图质检的效率和质量，产出的数据又能对ai修复数据的能力得到提升，使整个调度系统的效率越来越高。
75.需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
76.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
77.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
78.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
79.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
80.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造
概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
81.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

技术特征：
1.一种点云数据质检修复方法，其特征在于，包括：提取待修复点云数据中的多个关键点特征；基于所述多个关键点特征，对所述待修复点云数据的错误缺陷部分进行识别；评估所述待修复点云数据的错误缺陷部分的错误缺陷程度；通过设定程度阈值将所述待修复点云数据调度给人工终端或ai修复终端，对所述待修复点云数据进行质检修复。2.根据权利要求1所述的点云数据质检修复方法，其特征在于，所述提取待修复点云数据中的多个关键点特征，包括：遍历所述待修复点云数据的每一个深度图像点，通过寻找在近邻区域有深度突变的位置进行边缘检测；遍历每个深度图像点，根据近邻区域的表面变化决定一测度表面变化的系数，以及变化的主方向；根据所述变化的主方向计算兴趣值，所述兴趣值表征所述变化的主方向与其他方向的不同，以及该深度突变的位置处表面的变化情况；对找到的多个兴趣点进行平滑过滤，无最大值压缩找到最终的关键点。3.根据权利1所述的点云数据质检修复方法，其特征在于，所述基于所述多个关键点特征，对所述待修复点云数据的错误缺陷部分进行识别，包括：将所述多个关键特征点转化为正射图；基于所述正射图，通过深度学习推理得到缺陷空洞平面位置；将所述缺陷空洞平面位置反推到点云中，确定缺陷位置。4.根据权利要求1所述的点云数据质检修复方法，其特征在于，所述待修复点云数据为道路点云数据，所述错误缺陷部分包括但不限于道路的断开缺失。5.根据权利要求1或3或4所述的点云数据质检修复方法，其特征在于，所述评估所述待修复点云数据的错误缺陷部分的错误缺陷程度，包括：对所述待修复点云数据的错误缺陷部分的错误严重程度进行量化评估，根据错误严重程度将所述待修复点云数据分别标记为问题数据和初步合格数据。6.根据权利要求5所述的点云数据质检修复方法，其特征在于，所述通过设定程度阈值将所述待修复点云数据调度给人工终端或ai修复终端，对所述待修复点云数据进行质检修复，包括：将所述初步合格数据调度给人工终端，对所述问题数据进行设定程度阈值的判断，将错误严重程度超过设定程度阈值的点云数据标记为严重错误数据，将错误严重程度未超过设定程度阈值的点云数据标记为轻微错误数据；将严重错误数据调度给人工终端进行人工修复质检，以及将轻微严重数据调度给ai修复终端进行修复。7.根据权利要求6所述的点云数据质检修复方法，其特征在于，所述将轻微严重数据调度给ai修复终端进行修复，之后还包括：将ai修复终端进行修复后的点云数据扭转给人工终端；相应的，人工终端对所述初始合格数据、ai修复终端进行修复后的点云数据以及严重错误数据进行人工质检修复，不合格点云数据需要重新进行修复。
8.根据权利要求7所述的点云数据质检修复方法，其特征在于，所述人工终端对所述初始合格数据、ai修复终端进行修复后的点云数据以及严重错误数据进行人工质检修复，不合格点云数据需要重新进行修复，还包括：对于所述严重错误数据，质检判断是否需要重新采集，如果需要重新采集，则丢弃，并进行重新采集，如果不需要重新采集，则进行人工质检修复。9.根据权利要求1、6、7或8所述的点云数据质检修复方法，其特征在于，所述ai修复终端为基于质检修复后的合格点云数据以及对应的原始错误点云数据训练得到。10.一种点云数据质检修复系统，其特征在于，包括机器质检系统、调度系统、人工终端和ai修复终端；所述机器质检系统，用于提取待修复点云数据中的多个关键点特征；以及基于所述多个关键点特征，对所述待修复点云数据的错误缺陷部分进行识别；还用于评估所述待修复点云数据的错误缺陷部分的错误缺陷程度；调度系统，用于通过设定程度阈值将所述待修复点云数据调度给人工终端或ai修复终端，对所述待修复点云数据进行质检修复。

技术总结
本发明提供一种点云数据质检修复方法及系统，方法包括：提取待修复点云数据中的多个关键点特征；基于所述多个关键点特征，对所述待修复点云数据的错误缺陷部分进行识别；评估所述待修复点云数据的错误缺陷部分的错误缺陷程度；通过设定程度阈值将所述待修复点云数据调度给人工终端或AI修复终端，对所述待修复点云数据进行质检修复。本发明对点云数据的错误缺陷程度进行分类，将初步合格数据和严重错误数据调度给人工，将轻微错误数据调度给AI修复终端进行修复，可利用AI修复终端来减轻人工处理工作量，提高了点云数据的修复效率。提高了点云数据的修复效率。提高了点云数据的修复效率。


技术研发人员：高维 郭杨斌
受保护的技术使用者：武汉中海庭数据技术有限公司
技术研发日：2021.12.08
技术公布日：2022/3/8