一种基于异常点检测的多目视觉零件分拣方法、系统

1.本发明涉及生产零件分拣的技术领域，具体地涉及一种基于异常点检测的多目视觉零件分拣方法、系统。


背景技术：

2.识别与分类是工业生产过程中十分常见而且重要的环节。零件表面缺陷一定程度上影响着分类识别效果。因此，不少研究者针对零件的表面缺陷情况进行识别与分类。基于被测对象表面纹理特征进行零件识别，通过递归划分过程提出一种有效的二维形状分解方法，多尺度傅里叶描述子用于被测对象识别，双流cnn方法提取表面纹理与形状特征，目标驱动的网络剪枝方法等。通过对零件表面图像处理，获得缺陷的类型和缺陷程度，完成不同质量零件的识别与分类，但是匹配算法通常实现过程比较复杂，适应性存在一定不足，例如公告号为cn107486412a，公开日：2017年12月19日的专利文件中记载了一种基于机器视觉的目标表面瑕疵检测系统，ccd摄像机将采集的图像信号传输至控制器，控制器对图像信号进行前景提取、目标分割、特征分析处理，当检测到存在瑕疵时，控制器向单片机发出指令，单片机接收指令等待一段时间后，通过识别结果作用与单片机控制输出，系统实时性与分类准确性需进一步提高。


技术实现要素：

3.本发明实施例的目的是提供一种基于异常点检测的多目视觉零件分拣方法、系统，该基于异常点检测的多目视觉零件分拣方法、系统可以针对零件表面缺陷特性进行提取，根据该特性进行零件不合格品的分拣。
4.为了实现上述目的，本发明实施例提供一种基于异常点检测的多目视觉零件分拣方法，所述基于异常点检测的多目视觉零件分拣方法包括：
5.获取待测零件的当前多目视觉图像；
6.提取所述当前多目视觉图像中的表面缺陷特征信息；其中，所述表面缺陷特征信息包括缺陷像素点的均值和标准差；以及
7.基于缺陷像素点的均值和标准差计算概率密度参数，并基于所述概率密度参数与预设定的参数阈值的比较结果判断所述待测零件是否合格。
8.优选地，所述获取待测零件的当前多目视觉图像包括：
9.通过多目摄像头对所述待测零件进行图像采集；以及
10.对采集后的所述图像求和，以获得所述当前多目视觉图像。
11.优选地，所述提取所述当前多目视觉图像中的表面缺陷特征信息包括：
12.分别对所述当前多目视觉图像依次进行下述处理：径向畸变矫正、切向畸变矫正以及镜头矫正；以及
13.统计处理后的所述当前多目视觉图像的图像缺陷对应的像素点信息，确定缺陷像素点的均值和标准差。
14.优选地，所述统计处理后的所述当前多目视觉图像的图像缺陷对应的像素点信息，确定缺陷像素点的均值和标准差包括：
15.对所述处理后的所述当前多目视觉图像进行高亮处理，以获的强化表面缺陷信息的图像a；
16.灰度化所述图像a并标记所述图像a的表面缺陷，以获得已标记表面缺陷的图像b；
17.分别对图像b进行阈值分割和二值化处理，以获得图像c；
18.滤除所述图像c的噪点信息，以获得所述当前多目视觉图像的图像缺陷对应的像素点信息；以及
19.基于所述像素点信息确定缺陷像素点的均值和标准差。
20.优选地，所述基于所述概率密度参数与预设定的参数阈值的比较结果判断所述待测零件是否合格包括：
21.获取包含所述历史零件的数据集中二维数据的展示图；其中，所述展示图中包括未特殊标记的合格零件对应的点位和特殊标记的未合格零件对应的点位；
22.在所述待测零件的概率密度参数大于预设定的参数阈值时，在所述展示图中特殊标记所述待测零件的均值和标准差对应的点位。
23.优选地，所述获取包含所述历史零件的数据集中二维数据的展示图包括：
24.获取历史零件的历史多目视觉图像对应的数据集；
25.基于所述数据集确定所述数据集的各均值和各方差；以及
26.在二维视图中展示所述各均值和各方差以获得所述展示图。
27.优选地，所述参数阈值被配置为通过下述的方法更新：
28.基于机器学习法更新数据集，并基于更新后的数据集确定所述参数阈值，使得所述待测零件的合格率维持在预设定的数值范围内。
29.另外，本发明提供一种基于异常点检测的多目视觉零件分拣系统，所述基于异常点检测的多目视觉零件分拣系统包括：
30.图像获取单元，用于获取待测零件的当前多目视觉图像；
31.信息提取单元，用于提取所述当前多目视觉图像中的表面缺陷特征信息；其中，所述表面缺陷特征信息包括缺陷像素点的均值和标准差；以及
32.结果判断单元，用于基于缺陷像素点的均值和标准差计算概率密度参数，并基于所述概率密度参数与预设定的参数阈值的比较结果判断所述待测零件是否合格。
33.另外，本发明还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的基于异常点检测的多目视觉零件分拣方法。
34.另外，本发明还提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行：如上述的基于异常点检测的多目视觉零件分拣方法。
35.通过上述技术方案，对已加工的零件通过多目视觉采集后，获得零件一周面的图像信息。每个相机获得的图像经过表面缺陷特征提取后，得到图像均值与标准差，形成特征二维数据。借助异常点检测算法对二维数据进行训练，得到分类结果，表征零件表面缺陷，确定其是否合格。
36.本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
37.附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
38.图1是说明本发明的一种基于异常点检测的多目视觉零件分拣方法的流程图；
39.图2是多目视觉采集装置的结构图；
40.图3a是多目视觉图像原图；
41.图3b是图像a的效果图；
42.图3c是图像b的效果图；
43.图3d是图像c的效果图；
44.图3e是滤处理图像c后的效果图；
45.图4a是展示图的效果图；
46.图4b是针对所述展示图未特殊标记的合格零件对应的点位和特殊标记的未合格零件对应的点位的效果图；以及
47.图5是本发明的一种基于异常点检测的多目视觉零件分拣系统的模块框图。
具体实施方式
48.以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
49.图1是说明本发明的一种基于异常点检测的多目视觉零件分拣方法，所述基于异常点检测的多目视觉零件分拣方法包括：
50.s101，获取待测零件的当前多目视觉图像；本专利采用多目摄像头，对零件进行图像采集。全面获得零件图像信息，对三套视觉采集硬件获得的图像处理结果求和，得到该零件表面缺陷整体结果。
51.s102，提取所述当前多目视觉图像中的表面缺陷特征信息；其中，所述表面缺陷特征信息包括缺陷像素点的均值和标准差。表面缺陷特征信息为二维的信息，其主要是为了展示图像的表面特征情况。
52.s103，基于缺陷像素点的均值和标准差计算概率密度参数，并基于所述概率密度参数与预设定的参数阈值的比较结果判断所述待测零件是否合格。待测零件是否合格则主要表现待测零件合格情况。
53.优选地，所述获取待测零件的当前多目视觉图像包括：通过多目摄像头对所述待测零件进行图像采集；以及对采集后的所述图像求和，以获得所述当前多目视觉图像。
54.优选地，所述提取所述当前多目视觉图像中的表面缺陷特征信息包括：分别对所述当前多目视觉图像依次进行下述处理：径向畸变矫正、切向畸变矫正以及镜头矫正。其中，
55.1、径向畸变矫正
56.径向畸变是理想成像点与实际成像点变现象越明显，最终产生枕形或桶形畸变变形。
57.径向半径r2＝x2+y2，r＝0处通过泰勒级数进行展开后，保留前几项，可得：
58.x
corrected
＝x(1+k1r2+k2r4+k3r6)
ꢀꢀꢀ
(1)
59.y
corrected
＝y(1+k1r2+k2r4+k3r6)
ꢀꢀꢀ
(2)
60.(x,y)为畸变点原始位置，(x
corrected
，y
corrected
)为畸变矫正后的位置。
61.2、切向畸变矫正
62.由于薄透镜制造工艺可能存在的缺陷，使得透镜本身与图像平面发生倾斜，具体表达式如下：
63.x
corrected
＝x+[2p1y+p2r2+2p2x2)
ꢀꢀꢀ
(3)
[0064]ycorrected
＝y+[2p2x+p1r2+2p1y2)
ꢀꢀꢀ
(4)
[0065]
3、镜头矫正处理
[0066]
在发明中，选用圆形标定板在中构建模板完成对镜头的矫正设置，形成标定模板后进行训练，得到的矫正后平均误差为0.0003mm，镜头的测量精度得到很大提高。
[0067]
统计处理后的所述当前多目视觉图像的图像缺陷对应的像素点信息，确定缺陷像素点的均值和标准差。
[0068]
优选地，所述统计处理后的所述当前多目视觉图像的图像缺陷对应的像素点信息，确定缺陷像素点的均值和标准差包括：
[0069]
对所述处理后的所述当前多目视觉图像进行高亮处理，以获的强化表面缺陷信息的图像a；
[0070]
灰度化所述图像a并标记所述图像a的表面缺陷，以获得已标记表面缺陷的图像b；
[0071]
分别对图像b进行阈值分割和二值化处理，以获得图像c；
[0072]
滤除所述图像c的噪点信息，以获得所述当前多目视觉图像的图像缺陷对应的像素点信息；以及
[0073]
基于所述像素点信息确定缺陷像素点的均值和标准差。
[0074]
具体地，结合实际生产与零件装配的场景需要，满足几何尺寸精度的零件，其表面质量存在不同程度的缺陷也将影响使用性能，进而影响零件最终是否合格的判断。结合本文通过几何特征与表面质量特征两个维度衡量零件的综合质量，对零件表面质量信息的提取主要通过对图像缺陷像素值的统计来获得。首先完成对图像的处理过程，主要包括：(1)对原始图像进行高亮处理，强化表面缺陷信息；(2)图像灰度化，标记表面缺陷；(3)阈值分割，二值化处理；(4)平滑滤波，滤除噪点信息。图像处理过程如图3a-e所示。其中图3a为原图(rgb-1225*669ppi)，图3(b-e)为处理过程结果，白色区域为表面质量存在缺陷，灰度值记为1。黑色为零件表面正常，灰度值记为0。根据图像灰度直方图统计出该图中零件表面缺陷的像素点信息，处理结果获其均值(mean value)与标准差(stddevlation)。
[0075]
优选地，所述基于所述概率密度参数与预设定的参数阈值的比较结果判断所述待测零件是否合格包括：
[0076]
获取包含所述历史零件的数据集中二维数据的展示图；其中，所述展示图中包括未特殊标记的合格零件对应的点位和特殊标记的未合格零件对应的点位；
[0077]
在所述待测零件的概率密度参数大于预设定的参数阈值时，在所述展示图中特殊标记所述待测零件的均值和标准差对应的点位。
[0078]
优选地，所述获取包含所述历史零件的数据集中二维数据的展示图包括：
[0079]
获取历史零件的历史多目视觉图像对应的数据集；
[0080]
基于所述数据集确定所述数据集的各均值和各方差；以及
[0081]
在二维视图中展示所述各均值和各方差以获得所述展示图。
[0082]
优选地，所述参数阈值被配置为通过下述的方法更新：
[0083]
基于机器学习法更新数据集，并基于更新后的数据集确定所述参数阈值，使得所述待测零件的合格率维持在预设定的数值范围内。
[0084]
具体地，根据图像处理表面特征提取获得的均值与标准差数据，进行零件不合格品的分拣。算法训练与预测采用机器学习的异常点检测算法完成。通过数据训练，对不合格品进行标记。
[0085]
基本算法理论：假设数据集为{x
(1)
，x
(2)
,x
(3)
,
…
,x
(m)
}，维度为n，其数据集均值方差其概率密度p(x)≤ζ，则数据是异常点。结合本专利图像处理的缺陷数据，x轴为均值，记为mean,y轴为标准差数据，记为stddev。图像处理得到的原始数据如图4a所示。经算法训练后，不合格零件的预测结果标记为anomaly_data，合格零件结果为orginal_data，显示如图4b所示。将预测的不合格品结果与实际测量得到不合格进行比较，准确率在95％以上。
[0086]
另外，本发明还提供一种基于异常点检测的多目视觉零件分拣系统，所述基于异常点检测的多目视觉零件分拣系统包括：
[0087]
图像获取单元，用于获取待测零件的当前多目视觉图像；
[0088]
信息提取单元，用于提取所述当前多目视觉图像中的表面缺陷特征信息；其中，所述表面缺陷特征信息包括缺陷像素点的均值和标准差；以及
[0089]
结果判断单元，用于基于缺陷像素点的均值和标准差计算概率密度参数，并基于所述概率密度参数与预设定的参数阈值的比较结果判断所述待测零件是否合格。
[0090]
优选地，所述图像获取单元包括：
[0091]
采集模块，用于通过多目摄像头对所述待测零件进行图像采集；以及
[0092]
多目视觉图像获得模块，对采集后的所述图像求和，以获得所述当前多目视觉图像。
[0093]
优选地，所述信息提取单元包括：
[0094]
图像处理模块，用于分别对所述当前多目视觉图像依次进行下述处理：径向畸变矫正、切向畸变矫正以及镜头矫正；以及
[0095]
均值标准差确定模块，用于统计处理后的所述当前多目视觉图像的图像缺陷对应的像素点信息，确定缺陷像素点的均值和标准差。
[0096]
优选地，所述均值标准差确定模块包括：
[0097]
第一处理子模块，用于对所述处理后的所述当前多目视觉图像进行高亮处理，以获的强化表面缺陷信息的图像a；
[0098]
第二处理子模块，用于灰度化所述图像a并标记所述图像a的表面缺陷，以获得已标记表面缺陷的图像b；
[0099]
第三处理子模块，用于分别对图像b进行阈值分割和二值化处理，以获得图像c；
[0100]
第四处理子模块，用于滤除所述图像c的噪点信息，以获得所述当前多目视觉图像的图像缺陷对应的像素点信息；以及
[0101]
第五处理子模块，用于基于所述像素点信息确定缺陷像素点的均值和标准差。
[0102]
优选地，所述结果判断单元包括：
[0103]
展示图获取模块，用于获取包含所述历史零件的数据集中二维数据的展示图；其中，所述展示图中包括未特殊标记的合格零件对应的点位和特殊标记的未合格零件对应的点位；
[0104]
点位标记模块，用于在所述待测零件的概率密度参数大于预设定的参数阈值时，在所述展示图中特殊标记所述待测零件的均值和标准差对应的点位。
[0105]
优选地，所述展示图获取模块包括：
[0106]
数据集获取子模块，用于获取历史零件的历史多目视觉图像对应的数据集；
[0107]
均值和方差确定子模块，用于基于所述数据集确定所述数据集的各均值和各方差；以及
[0108]
展示图获得子模块，用于在二维视图中展示所述各均值和各方差以获得所述展示图。
[0109]
优选地，所述参数阈值被配置为通过下述的模块更新：
[0110]
更新模块，用于基于机器学习法更新数据集，并基于更新后的数据集确定所述参数阈值，使得所述待测零件的合格率维持在预设定的数值范围内。
[0111]
另外，本发明还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的基于异常点检测的多目视觉零件分拣方法。
[0112]
另外，本发明还提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行：如上述的基于异常点检测的多目视觉零件分拣方法。
[0113]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0114]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0115]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0116]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0117]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0118]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0119]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0120]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0121]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0122]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种基于异常点检测的多目视觉零件分拣方法，其特征在于，所述基于异常点检测的多目视觉零件分拣方法包括：获取待测零件的当前多目视觉图像；提取所述当前多目视觉图像中的表面缺陷特征信息；其中，所述表面缺陷特征信息包括缺陷像素点的均值和标准差；以及基于缺陷像素点的均值和标准差计算概率密度参数，并基于所述概率密度参数与预设定的参数阈值的比较结果判断所述待测零件是否合格。2.根据权利要求1所述的基于异常点检测的多目视觉零件分拣方法，其特征在于，所述获取待测零件的当前多目视觉图像包括：通过多目摄像头对所述待测零件进行图像采集；以及对采集后的所述图像求和，以获得所述当前多目视觉图像。3.根据权利要求1所述的基于异常点检测的多目视觉零件分拣方法，其特征在于，所述提取所述当前多目视觉图像中的表面缺陷特征信息包括：分别对所述当前多目视觉图像依次进行下述处理：径向畸变矫正、切向畸变矫正以及镜头矫正；以及统计处理后的所述当前多目视觉图像的图像缺陷对应的像素点信息，确定缺陷像素点的均值和标准差。4.根据权利要求3所述的基于异常点检测的多目视觉零件分拣方法，其特征在于，所述统计处理后的所述当前多目视觉图像的图像缺陷对应的像素点信息，确定缺陷像素点的均值和标准差包括：对所述处理后的所述当前多目视觉图像进行高亮处理，以获的强化表面缺陷信息的图像a；灰度化所述图像a并标记所述图像a的表面缺陷，以获得已标记表面缺陷的图像b；分别对图像b进行阈值分割和二值化处理，以获得图像c；滤除所述图像c的噪点信息，以获得所述当前多目视觉图像的图像缺陷对应的像素点信息；以及基于所述像素点信息确定缺陷像素点的均值和标准差。5.根据权利要求1所述的基于异常点检测的多目视觉零件分拣方法，其特征在于，所述基于所述概率密度参数与预设定的参数阈值的比较结果判断所述待测零件是否合格包括：获取包含所述历史零件的数据集中二维数据的展示图；其中，所述展示图中包括未特殊标记的合格零件对应的点位和特殊标记的未合格零件对应的点位；在所述待测零件的概率密度参数大于预设定的参数阈值时，在所述展示图中特殊标记所述待测零件的均值和标准差对应的点位。6.根据权利要求5所述的基于异常点检测的多目视觉零件分拣方法，其特征在于，所述获取包含所述历史零件的数据集中二维数据的展示图包括：获取历史零件的历史多目视觉图像对应的数据集；基于所述数据集确定所述数据集的各均值和各方差；以及在二维视图中展示所述各均值和各方差以获得所述展示图。7.根据权利要求1所述的基于异常点检测的多目视觉零件分拣方法，其特征在于，所述
参数阈值被配置为通过下述的方法更新：基于机器学习法更新数据集，并基于更新后的数据集确定所述参数阈值，使得所述待测零件的合格率维持在预设定的数值范围内。8.一种基于异常点检测的多目视觉零件分拣系统，其特征在于，所述基于异常点检测的多目视觉零件分拣系统包括：图像获取单元，用于获取待测零件的当前多目视觉图像；信息提取单元，用于提取所述当前多目视觉图像中的表面缺陷特征信息；其中，所述表面缺陷特征信息包括缺陷像素点的均值和标准差；以及结果判断单元，用于基于缺陷像素点的均值和标准差计算概率密度参数，并基于所述概率密度参数与预设定的参数阈值的比较结果判断所述待测零件是否合格。9.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述权利要求1-7中任意一项所述的基于异常点检测的多目视觉零件分拣方法。10.一种处理器，其特征在于，用于运行程序，其中，所述程序被运行时用于执行：如权利要求1-7任意一项所述的基于异常点检测的多目视觉零件分拣方法。

技术总结
本发明实施例提供一种基于异常点检测的多目视觉零件分拣方法、系统，属于生产零件分拣的技术领域。基于异常点检测的多目视觉零件分拣方法包括：获取待测零件的当前多目视觉图像；提取当前多目视觉图像中的表面缺陷特征信息；其中，表面缺陷特征信息包括缺陷像素点的均值和标准差；以及基于缺陷像素点的均值和标准差计算概率密度参数，并基于概率密度参数与预设定的参数阈值的比较结果判断待测零件是否合格。该基于异常点检测的多目视觉零件分拣方法、系统可以针对零件表面缺陷特性进行提取，根据该特性进行零件不合格品的分拣。根据该特性进行零件不合格品的分拣。根据该特性进行零件不合格品的分拣。


技术研发人员：李梦 柴知章 韩小飞 李晨昕 高泽成
受保护的技术使用者：安徽信息工程学院
技术研发日：2021.12.01
技术公布日：2022/3/8