一种基于机器视觉的圆筒接驳口缺陷检测方法与流程

本发明涉及缺陷检测，尤其涉及一种基于机器视觉的圆筒接驳口缺陷检测方法

背景技术：

1、圆筒是由内嵌圆模型以及外纸质、胶质外包装包围而成。通过固定滚轮将二者贴紧，它具有体积小，防水好，外观漂亮等特点。在食品包装、丝织类、茶叶等领域被广泛应用，市场对包装类圆筒的需求正在逐步增大，但是，受生产设备、原材料以及加工工艺等多重因素的影响，这类圆筒在生产过程中其表面可能出现多种缺陷，严重影响质量和美观，目前圆筒的生产环节已经基本实现无人化，但是在其质量检测环节仍然大量依赖人工检测，经调查，一条生产线需配备 2-3名工人去检测，但是人工检测由以下缺点：在车间高强度工作下，随着工作时间变长，人产生疲劳感后检测效率也会随之低下；人工检测的主观性较强，无法做出客观的评判标准；人力的劳动和管理成本高；人工检测也逐渐成为企业提高产量，节省成本的最大障碍，随着机器视觉的快速发展，许多企业会使用机器来应用于工业上的目标检测，其思想是利用计算机视觉模拟人类视觉的功能，从具体的实物进行图像的采集、处理、计算，最终进行实际的机器检测和控制，由于使用人工检测不能满足现代工艺检测的需求，而利用机器视觉可以很好的克服这一难题，基于机器视觉的表面缺陷检测系统能给企业带来高质量高效率的生产，国内生产圆筒的企业使用表面缺陷检测系统较少，大多仍在使用人工进行检测。因此在圆筒接驳口表面缺陷检测环节迫切需要一种能够代替人工检测的智能化检测技术以及设备，在生产圆筒的过程中，能够自动检测，识别各类缺陷并做出相应处理。

2、本发明的目的是解决现有技术中存在的缺点，而提出的基于机器视觉的圆筒接驳口表面缺陷检测方法。

3、为了实现上述目的，本发明采用了如下技术方案：基于机器视觉的圆筒接驳口缺陷检测方法，包括一下步骤

4、s1:基于单相机的图像采集;

5、s2:对图像进行特征提取并进行标记;

6、s3：将提取的特征编辑成数据集合;

7、s4：目标检测

8、;s5：创建图像模型;

9、s6：改进训练参数;

10、s7：训练模型;

11、s8：基于模板进行缺陷检测。

12、为了对采集数据进行具体限定，本发明改进有，所述 s1中采集数据具体为获取目标样品后通过工业面阵相机采集，所述工业面阵相机采用感光芯片为 cmos，扫描方式为面阵，接口为 gige类型的黑白工业相机。

13、为了对特征进行具体限定，本发明改进有，所述 s2中对图像进行特征提取并进行标记是在视觉深度学习系统中，通过绘制区域从而对图像特征进行提取，需要对图像特征进行标记进行分辨，包括图像阈值分割。

14、为了对图像阈值进行进行详细说明，本发明改进有，所述图像阈值是对于图像进行灰度值分割，是把图像灰度分成不同的等级，然后确定灰度，门阈值的方法。灰度阈值分割其实就是二值化处理，即：选择一个阈值，将图像转化为黑白二值图像，用于图像分割以及边缘提取。显然，图像阈值化处理是一种阶梯函数，属于图像灰度级的非线性运算，该变换函数曲线如图所示。它的功能是由用户指定一个阈值，如果图像中某个像素的灰度值大于该阈值，则将该像素的灰度值置为 255，否则将其灰度值置为 0。

15、为了对将提取的特征编辑成数据集合进行限定，本发明改进有，所述 s3中，编辑成数据集合具体为对原始图像数据进行上述分析工作后，定义为圆筒接驳口特征为褶皱，断裂，偏移。而后使用归类工具编辑成数据集合。

16、为了对目标检测进行细化处理，本发明改进有，所述 s4中目标检测具体为判断图片中出现的类型以及判断其位置，其使用的算法使用的算法 yolov5算法，其中包括输入端的mosaic数据增强、自适应锚框计算、自适应图片缩放操作；基准端的 focus结构与 csp结构；neck 端的 spp 与 fpn+pan 结构，输出端的损失函数 giou_loss 以及预测框筛选的diou_nms。

17、为了对创建图像模型进行限定，本发明改进有，所述 s5中创建图像模型是基于上述参数和数据集得出的缺陷模型。

18、为了对改进训练参数进行限定，本发明改进有，所述 s6中改进训练参数是针对模型进行数据增强，包括 hsv空间变换；镜像类型；画布扩大；剪裁；仿射变换；噪声弱化。

19、为了对训练模型进行限定，本发明改进有，所述 s7中训练模型是指对标准的学习目标通过以极大化降低损失函数为目标去训练模型。衡量模型回归预测的误差情况，用样本的预测值减去求平方后的平均值，是均方误差损失。，通过极小化交叉熵损失，使得模型预测分布尽可能与实际数据经验分布一致。在评估方面，使用精确率（accuracy），召回率(recall)和 f1分数（f1_score）来衡量检测的效果，并通过调整参数使 f1分数达到最高。

20、为了实现缺陷检测功能，本发明改进有，所述 s8中基于模板进行缺陷检测具体为通过面阵相机实时抓拍产线数据检测产品是否出现缺陷，需要将抓拍图像进行回传分析，并与正确的模型进行对比，即可判断该产品是否出现缺陷，若出现缺陷，及进行对应的下游操作。

21、基于机器视觉的圆筒接驳口缺陷检测方法，其特征在于：所述基于机器视觉的圆筒接驳口缺陷检测方法是由图像采集模块、特征提取模块、数据集制作模块、目标检测模块、创建图形模块、改进训练参数模块、训练模型模块和缺陷检测模块组成，所述图像采集模块输出端与特征提取模块的输入端电性连接，所述特征提取模块的输出端与数据集制作模块的输入端电性连接，所述数据集制作模块输出端与目标检测模块输入端电性连接，所述目标检测模块输出端与创建图形模块输入端电性连接，所述创建图形模块输出端与改进参数模块输入端电性连接，所述改进参数模块输出端与训练模型模块输入端电性连接，所述训练模型模块输出端与缺陷检测模块输入端电性连接，其中，图像采集模块：根据目标尺寸，工作范围使用对应的工业面阵相机，获取目标样品后安装设备进行图像采集。特征提取模块：采集得到的图像模糊且无明显特征，在此模块中对图像进行明显的特征匹配，增强特征处理。数据集制作模块：按照上述技术方案，定义圆筒接驳口的缺陷类别并标注分类，编辑成数据集。目标检测模块：目标检测模块算法使用的是 yolov5算法，其中包括输入端的mosaic数据增强、自适应锚框计算、自适应图片缩放操作；基准端的 focus结构与 csp结构；neck端的 spp与 fpn+pan结构，输出端的损失函数 giou_loss以及预测框筛选的diou_nms。改进训练参数模块：针对圆筒接驳口表面进行缺陷检测算法的研究，对目标算法网络模型 yolov5改进，对图像进行 hsv空间变换；镜像类型；画布扩大；剪裁；仿射变换；噪声弱化数据增强。训练模型模块：根据上述技术方案步骤 7中涉及均方误差损失函数 mse以及极小化交叉熵损失。实现从端到端的联合训练，具体的操作方法是，每次选择一个参数并固定其他参数进行调整，利用验证集进行 50次检测，当平均 f1-score的值取得最大值时，认为该参数调到最优，之后再调整下一个参数，重复上述步骤，直到所有参数都被调整到最优。缺陷检测模块：把工业面阵相机的实时数据通过特征快速匹配后输入到模型中，便能够准确，高效地识别圆筒接驳口的各类缺陷并做出相应处理。

22、与现有技术相比，本发明的优点和积极效果在于：本发明在进行圆筒接驳口表面缺陷检测时，同时考虑了传统目标检测方法特征提取难的影响，提出了一种增强图像特征，引入数据集与深度学习算法目标检测的 yolov5网络模型，具体表现为：训练阶段采用输入端的 mosaic数据增强、自适应锚框计算、自适应图片缩放操作；基准端的 focus结构与csp结构；neck端的 spp与 fpn+pan结构，输出端的损失函数giou_loss以及预测框筛选的diou_nms。hsv空间变换；镜像类型；画布扩大；剪裁；仿射变换；噪声弱化数据增强。实现高效的图像特征训练，在此基础上针对产线回传数据，检测、识别产品表面存在的缺陷，并自动记录结果、生产产品检测日志，可用于生产指导以及产品质量问题分析，解决质量疑义，相比于传统的目标检测方法，本发明通用性更强，于大多数的深度学习方法相比，本发明针对生产圆筒产线实际需求进行改进，进一步提高了检测的准确率和效率，本发明构建的圆筒接驳口表面缺陷数据集，可以填补开源数据集在该领域的空白，能够针对产线实际需求训练有效的缺陷检测模型，进一步提升检测的速度、准确度，提高企业生产效率、降低生产成本。

技术实现思路

技术特征：

1.种基于机器视觉的圆筒接驳口缺陷检测方法，其特征在于，包括以下步骤：

2.据权利要求 1 所述的基于机器视觉的圆筒接驳口缺陷检测方法，其特征在于：所述s1中，采集数据具体为获取目标样品后通过工业面阵相机采集，所述工业面阵相机采用感光芯片为 cmos，扫描方式为面阵，接口为 gige 类型的黑白工业相机。

3.根据权利要求 1 所述的基于机器视觉的圆筒接驳口缺陷检测方法，其特征在于：所述 s2中，对图像进行特征提取并进行标记是在视觉深度学习系统中，通过绘制区域从而对图像特征进行提取，需要对图像特征进行标记进行分辨，包括图像阈值分割。

4.据权利要求 1 所述的基于机器视觉的圆筒接驳口检测缺陷方法，其特征在于：所述s3中，编辑成数据集具体为图像数据进行上述分析工作后，定义为圆筒接驳口特征为褶皱，断裂，偏移。而后使用归类工具编辑成数据集合。

5.据权利要求 1 所述的基于机器视觉的圆筒接驳口缺陷检测方法，其特征在于：所述s4中，目标检测具体为判断图片中出现的类型以及判断其位置，其使用的算法 yolov5 算法，其中包括输入端的 mosaic 数据增强、自适应锚框计算、自适应图片缩放操作；基准端的 focus结构与 csp 结构；neck 端的 spp 与 fpn+pan 结构，输出端的损失函数 giou_loss 以及预测框筛选的 diou_nms。

6.据权利要求 1 所述的基于机器视觉的圆筒接驳口缺陷检测方法，其特征在于：所述s5中，创建图像模型是基于上述参数和数据集得出的缺陷模型。

7.据权利要求 1 所述的基于机器视觉的圆筒接驳口缺陷检测方法，其特征在于：所述s6中，改进训练参数是针对模型进行数据增强，包括 hsv 空间变换；镜像类型；画布扩大；剪裁；仿射变换；噪声弱化。

8.据权利要求 1 所述的基于机器视觉的圆筒接驳口缺陷检测方法，其特征在于：所述s7中，训练模型是指对标准的学习目标通过以极大化降低损失函数为目标去训练模型。衡量模型回归预测的误差情况，用样本的预测值减去求平方后的平均值，是均方误差损失。，通过极小化交叉熵损失，使得模型预测分布尽可能与实际数据经验分布一致。在评估方面，使用精确率（accuracy），召回率(recall)和 f1 分数（f1_score）来衡量检测的效果，并通过调整参数使 f1 分数达到最高。

9.据权利要求 1 所述的基于机器视觉的圆筒接驳口缺陷检测方法，其特征在于：所述s8 中，基于模板进行缺陷检测具体为通过面诊相机实时抓拍产线数据检测产品是否出现缺陷，需要将抓拍图像进行回传分析，并与正确的模型进行对比，即可判断该产品是否出现缺陷，若出现缺陷，及进行对应的下游操作。

10.基于机器视觉的圆筒接驳口缺陷检测方法，其特征在于：所述基于机器视觉的圆筒接驳口缺陷检测方法是由图像采集模块、特征提取模块、数据集制作模块、目标检测模块、创建图形模块、改进训练参数模块、训练模型模块和缺陷检测模块组成，所述图像采集模块输出端与特征提取模块的输入端电性连接，所述特征提取模块的输出端与数据集制作模块的输入端电性连接，所述数据集制作模块输出端与目标检测模块输入端电性连接，所述目标检测模块输出端与创建图形模块输入端电性连接，所述创建图形模块输出端与改进参数模块输入端电性连接，所述改进参数模块输出端与训练模型模块输入端电性连接，所述训练模型模块输出端与缺陷检测模块输入端电性连接，其中，图像采集模块：根据目标尺寸，工作范围使用对应的工业面阵相机，获取目标样品后安装设备进行图像采集；特征提取模块：采集得到的图像模糊且无明显特征，在此模块中对图像进行明显的特征匹配，进行图像阈值分割，增强特征处理；数据集制作模块：按照上述技术方案，定义圆筒接驳口的缺陷类别并标注分类，编辑成数据集；目标检测模块：目标检测模块算法使用的是 yolov5 算法，其中包括输入端的 mosaic 数据增强、自适应锚框计算、自适应图片缩放操作；基准端的focus 结构与 csp 结构；neck 端的 spp 与 fpn+pan 结构，输出端的损失函数 giou_loss 以及预测框筛选的 diou_nms；改进训练参数模块：针对圆筒接驳口表面进行缺陷检测算法的研究，对目标算法网络模型 yolov5 改进，对图像进行 hsv 空间变换；镜像类型；画布扩大；剪裁；仿射变换；噪声弱化数据增强；训练模型模块：根据上述技术方案步骤 7中涉及均方误差损失函数 mse 以及极小化交叉熵损失。实现从端到端的联合训练，具体的操作方法是，每次选择一个参数并固定其他参数进行调整，利用验证集进行 50 次检测，当平均 f1-score 的值取得最大值时，认为该参数调到最优，之后再调整下一个参数，重复上述步骤，直到所有参数都被调整到最优；缺陷检测模块：把工业面阵相机的实时数据通过特征快速匹配后输入到模型中，便能够准确，高效地识别圆筒接驳口的各类缺陷并做出相应处理。

技术总结
本发明主要涉及机器视觉的缺陷检测领域，具体是一种基于面阵相机的圆筒接驳口缺陷检测方法，主要包括一下步骤：S1：基于单相机的图像采集；S2：对图像进行特征提取并进行标记；S3：将提取的特征编辑成数据集合；S4：目标检测；S5：创建图像模型；S6：改进训练参数；S7：训练模型；S8：基于模板进行缺陷检测。区别于传统的缺陷检测方法，本发明采用机器视觉系统，采用单相机，多面光源对目标物体进行成像，采集的图像信息更明显丰富，通过对图像的特征提取及标签分类，将标准指定图和缺陷制定对象进行图像缺陷的深度训练，从而生成图像模型。以便检测此图像模型，以有缺陷自动检测；基于数字图像处理和机器视觉对图像进行各种运算达到自动识别缺陷模型。相对于常用的人工检测缺陷，操作简单，处理稳定，节省人力，提高检测效率。

技术研发人员：李东伟
受保护的技术使用者：广东天视智能科技有限公司
技术研发日：
技术公布日：2024/12/5