一种高反光表面物体表面图像获取方法及获取装置

1.本发明涉及计算机视觉技术领域，具体涉及是一种高反光表面物体表面图像获取方法及获取装置。


背景技术：

2.随着我国制造业的飞速发展，工业生产的产品数量和种类也日益增多。人们对产品的质量要求也越来越高，产品表面的质量不仅会影响产品的外观，更严重的功能性瑕疵会直接导致产品商业价值贬值，在玻璃及半导体衬底(如抛面蓝宝石衬底)领域内更是如此。在半导体材料蓝宝石衬底的生成过程中由于设备以及工艺的影响，产品中经常会出现特别细小的缺陷，且由于该材料的高反光特性，肉眼无法很好辨别出其中的缺陷，传统人工的方法费时费力，而且存在大量误检和漏检的情况。机器视觉在此方面有着准确、速度快、稳定等诸多优点，但是面对高反光表面，现有技术成本高、检测速度慢、灵活性不足，无法快速部署和应用，例如中国专利公布号cn109507196a，名称为“一种用于视觉检测领域的光学检测装置与检测方法”，该方法采用明场和暗场两个暗箱的检测方式，需要两套光源以及多套相机装置，无法可变的多角度的投射光线来检测缺陷，且对于不同反光表面调整困难，该方法造价昂贵，对于不同产品无法快速投入部署，对于缺陷的检测有先天不足。


技术实现要素：

3.针对现有技术存在的上述问题，本发明提供了一种高反光表面物体表面图像获取方法及获取装置，不需要冗余的硬件，对于不同的高反光表面材料仅需简单调试即可投入使用，且能在多角度(水平、竖直或任意角度)获得高反光表面材料的表面图像，方便后续缺陷检测。
4.本发明解决所述技术问题的技术方案是：设计一种高反光表面物体表面图像获取方法，其特征在于，该方法的操作步骤如下：
5.第一步：将高反光表面物体、高分辨灰度相机与高亮显示器设置于全黑不透光的空间内，并调整三者的位姿，高分辨灰度相机与高亮显示器设置于高反光表面物体的两侧，使高反光表面物体位于高分辨灰度相机镜头的拍摄范围内，使高反光表面物体位于高亮显示器的照射范围内；
6.第二步：开启高分辨灰度相机、高亮显示器以及与两者相连的电脑，通过电脑分别向高亮显示器传输一组明暗结构化图像，高亮显示器分别将该组明暗结构化图像依次投射到高反光表面物体上，高分辨灰度相机依次将被不同明暗结构化图像投射的高反光表面物体表面进行拍摄，得到第一组被明暗结构化图像投射的高反光表面物体表面照片；
7.第三步：将高反光表面物体旋转90
°
或者将第二步中的明暗结构化图像全部以相同方向旋转90
°
后，按第二步中的方法进行明暗结构化图像投射与高反光表面物体表面的拍摄，得到第二组被明暗结构化图像投射的高反光表面物体表面照片；
8.第四步：利用第二步与第三步中获得的两组被明暗结构化图像投射的高反光表面
物体表面照片进行高反光表面物体表面图像像素计算；
9.高反光表面物体表面图像某点像素的强度公式为该点处n张照片的像素值减去该点处n张照片像素的平均值，其两者差的n张照片累加和为该点增强后的像素值，n为一组结构化图像张数的两倍；
10.高反光表面物体表面图像某点像素的具体计算公式为下式:
[0011][0012]
式中，i
i,j
代表某点像素值，其中i、j表示坐标位置，为i行j列；表示拍摄照片中第k张、l张图的该点处的像素值；
[0013]
第五步：选用多组明暗结构化图像，重复第二步到第四步的过程，得到多张高反光表面物体表面图像；
[0014]
第六步：将由不同组明暗结构化图像得到的多张高反光表面物体表面图像分别做剪切处理，去掉多余白边，然后采用梯度函数值对不同图像质量进行评价；选取梯度函数值最大的高反光表面物体表面图像作为该高反光表面物体最佳的表面图像，并将对应的一组明暗结构化图像作为该类高反光表面物体的最优明暗结构化图像；
[0015]
第七步：更换同一类型的下一个高反光表面物体，并选用第六步中的最优明暗结构化图像，重复第二步到第四步的过程，即可得到该高反光表面物体的表面图像；后续同一类型的高反光表面物体的表面图像获取过程均与该高反光表面物体的表面图像获取过程相同。
[0016]
进一步，设计一种高反光表面物体表面图像获取装置，其特征在于，该装置可用于实现如上所述的方法；该装置包括检测台、水平滑台、旋转台、高分辨灰度相机、相机支架、高亮显示器、显示器支架、plc控制器、电脑和不透光外壳，所述水平滑台沿检测台前后方向固定设置在检测台上，相机支架与显示器支架分别相对的设置在检测台的左右两侧，高分辨灰度相机通过高度与角度均可调节的相机夹具设置在相机支架上，高亮显示器通过高度与角度均可调节的夹具设置在显示器支架上；旋转台水平的设置在水平滑台的台面的正中间，通过固定在水平滑台的台面上的旋转台步进电机带动旋转台转动；水平滑台由滑台电机的正反转来带动其台面的来回移动；
[0017]
旋转台步进电机、滑台电机均与plc控制器电连接，plc控制器与电脑之间为tcp通信，高分辨灰度相机、高亮显示器均与电脑通过接口连接；旋转台步进电机、滑台电机、plc控制器、高亮显示器、电脑均由外部供电，高分辨灰度相机由电脑供电；
[0018]
不透光外壳固定在检测台上，将检测台、相机支架、显示器支架容纳于其内，使高分辨灰度相机、高亮显示器位于不透光的空间内；不透光外壳的左右两侧设置对开门板；在不透光外壳四周的下部边沿上设置有用于容纳导电线、信号线的缺口，导电线、信号线上设置有橡胶圈，橡胶圈的外部尺寸与该缺口尺寸相匹配；不透光外壳的底部与检测台台面相连，两者的连接方式为粘合或者打孔设置螺钉固定。
[0019]
与现有技术相比，本发明的有益效果在于：本发明方法将明场拍照和暗场拍照整合起来，同时通过可调明暗结构化图像的测试与图像评价算法(基于brenner梯度算法)的评估，快速确定该类型高反光表面物体的最优明暗结构化图像的参数信息；此外，不同类型
的高反光表面物体只需要测试明暗结构化图像即可，大大缩短了不同类型反光待测物的调节时间，且能由图像评估算法给出图像质量客观评价，获得高反光表面物体最佳的表面图像；本发明装置在待拍摄物体底下设置有旋转台，可让相机采集到不同方向角度数据信息，提升整体的缺陷识别能力；最后，明暗场的整合与电机的控制使整个装置只需要一个相机、一套不透光外壳，减少了硬件成本与机械装置的冗余，实现了高灵活性的快速部署。
附图说明
[0020]
图1是本发明方法一种实施例的步骤流程图；
[0021]
图2是第一种明暗结构化图像示意图；
[0022]
图3是第二种明暗结构化图像示意图；
[0023]
图4是第二种明暗结构化图像示意图；
[0024]
图5是光散射物理原理图；
[0025]
图6是本发明装置一种实施例的高反光表面物体、高分辨灰度相机与高亮显示器位姿示意图；
[0026]
图6中标记：1—检测台；2—水平滑台；3—旋转台；4—相机支架；5—显示器支架；6—高分辨灰度相机；7—高亮显示器；8—高反光表面物体。
具体实施方式
[0027]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0028]
进一步的，本发明提供一种高反光表面物体表面图像获取方法(简称方法)，该方法的操作步骤如下：
[0029]
第一步：将高反光表面物体、高分辨灰度相机与高亮显示器设置于全黑不透光的空间内，并调整三者的位姿，高分辨灰度相机与高亮显示器设置于高反光表面物体的两侧，使高反光表面物体位于高分辨灰度相机镜头的拍摄范围内，使高反光表面物体位于高亮显示器的照射范围内。
[0030]
第二步：开启高分辨灰度相机、高亮显示器以及与两者相连的电脑，通过电脑分别向高亮显示器传输一组明暗结构化图像，高亮显示器分别将该组明暗结构化图像依次投射到高反光表面物体上，高分辨灰度相机依次将被不同明暗结构化图像投射的高反光表面物体表面进行拍摄，得到第一组被明暗结构化图像投射的高反光表面物体表面照片；
[0031]
第三步：将高反光表面物体旋转90
°
或者将第二步中的明暗结构化图像全部以相同方向旋转90
°
后，按第二步中的方法进行明暗结构化图像投射与高反光表面物体表面的拍摄，得到第二组被明暗结构化图像投射的高反光表面物体表面照片；
[0032]
第四步：利用第二步与第三步中获得的两组被明暗结构化图像投射的高反光表面物体表面照片进行高反光表面物体表面图像像素计算。
[0033]
高反光表面物体表面图像某点像素(灰度相机拍摄，故此处像素值为灰度值)的强度公式为该点处n张照片的像素值减去该点处n张照片像素的平均值，其两者差的n张照片
累加和为该点增强后的像素值，n为一组结构化图像张数的两倍。
[0034]
高反光表面物体表面图像某点像素的具体计算公式为下式:
[0035][0036]
式中，i
i,j
代表某点像素值，其中i、j表示坐标位置，为i行j列；表示拍摄照片中第k张、l张图的该点处的像素值；
[0037]
第五步：选用多组明暗结构化图像，重复第二步到第四步的过程，得到多张高反光表面物体表面图像。
[0038]
第六步：将由不同组明暗结构化图像得到的多张高反光表面物体表面图像分别做剪切处理，去掉白边，然后采用梯度函数值对不同图像进行评价，数值越大则该图像越贴近实物、成像效果越清晰。选取梯度函数值最大的高反光表面物体表面图像作为该高反光表面物体最佳的表面图像，并将对应的一组明暗结构化图像作为该类高反光表面物体的最优明暗结构化图像；
[0039]
第七步：更换同一类型的下一个高反光表面物体，并选用第六步中的最优明暗结构化图像，重复第二步到第四步的过程，即可得到该高反光表面物体的表面图像；后续同一类型的高反光表面物体的表面图像获取过程均与该高反光表面物体的表面图像获取过程相同。
[0040]
所述的一组明暗结构化图像为以相同明暗结构单元构成、以固定步长沿同一方向变换所得的一组能够覆盖高亮显示器的图像；一组明暗结构化图像中的张数为明暗结构单元的宽度之和除以步长。
[0041]
如图2-图4中所示，该三张明暗结构化图像由三种不同的明暗结构单元构成，在每张结构化图像的基础上，通过横向步长变换，可至少得到三组不同明暗结构化图像。每一次变换的步长相同，每次变换的原始图像为上一次变换所得的图像。
[0042]
对于不同高亮显示器分辨率大小不同，图像投射序列由于步长的原因张数不同，但都需要满足待测物的每一处平面都有完整明暗结构单元。以800*600尺寸的高亮显示器为例，明暗结构单元由一条白条纹与一条黑条纹并列竖直排布构成，若取白条纹宽度为4，黑条纹宽度为8，步长1，则在水平方向上至少需要12张图像才能实现对于待测物上某处的完全覆盖；根据该12张图像与旋转(旋转待测物或者旋转该12张图像)之后的即可获得24张拍摄照片，该24张拍摄照片即为n。
[0043]
通过改变白条纹宽度与黑条纹宽度以及每次移动的步长，生成多种结构化图像，在本实施例中，基于高亮显示器的800*600分辨率，生成了中不同规格的结构化图像序列(具体来说例如：白条纹宽度2黑条纹4步长1；白条纹宽度2黑条纹8步长1；白条纹宽度4黑条纹4步长1；白条纹宽度4黑条纹8步长1；白条纹宽度4黑条纹8步长2；白条纹宽度8黑条纹8步长1；白条纹宽度8黑条纹16步长2；白条纹宽度16黑条纹32步长4；白条纹宽度32黑条纹64步长8；白条纹宽度64黑条纹128步长16；白条纹宽度64黑条纹128步长32；白条纹宽度64黑条纹128步长64)。
[0044]
作为一种实施例，第四步经计算得到高反光表面物体表面图像的尺寸为1134
×
780；
[0045]
作为一种实施例，第六步中裁切尺寸为box1＝(245,46,947,707)；梯度函数选用brenner梯度函数，该函数又称梯度滤波器法，只需计算x方向上相差两个像素点的差分，即计算二阶梯度，具有计算量少的特点，表达式如下所示：
[0046]
f＝∑
x
∑y{[f(x+2,y)-f(x,y)]2}
[0047]
其中，x与y的f(x,y)值为所评价图像某点的像素值(亦可用tenengrad梯度函数或离散余弦变换dct代替)。
[0048]
进一步，本发明提供一种高反光表面物体表面图像获取装置(简称装置)，该装置可用于实现上述方法，其特征在于，该装置包括检测台、水平滑台、旋转台、高分辨灰度相机、相机支架、高亮显示器、显示器支架、plc控制器、电脑和不透光外壳，所述水平滑台沿检测台前后方向固定设置在检测台上，相机支架与显示器支架分别相对的设置在检测台的左右两侧，高分辨灰度相机通过高度与角度均可调节的相机夹具设置在相机支架上，高亮显示器通过高度与角度均可调节的夹具设置在显示器支架上。旋转台水平的设置在水平滑台的台面的正中间，通过固定在水平滑台的台面上的旋转台步进电机带动旋转台转动。具体的，旋转台步进电机通过底座固定在水平滑台的台面的正中间，其输出轴竖直朝上设置，旋转台通过底部中心处设置螺纹孔或者通过粘合的方式水平的固定在旋转台步进电机的输出轴顶端。
[0049]
水平滑台由滑台电机的正反转来带动其台面的来回移动，滑台电机为步进电机或伺服电机均可。
[0050]
旋转台步进电机、滑台电机均与plc控制器电连接，plc控制器与电脑之间为tcp通信，高分辨灰度相机、高亮显示器均与电脑通过接口连接。旋转台步进电机、滑台电机、plc控制器、高亮显示器、电脑均由外部供电，高分辨灰度相机由电脑供电。
[0051]
不透光外壳固定在检测台上，将检测台、相机支架、显示器支架容纳于其内，使高分辨灰度相机、高亮显示器位于不透光的空间内。进一步的，不透光外壳的左右两侧(即相机端和显示器侧)设置对开门板，门板四周包覆有密封圈，用于门板衔接处的不透光处理；门板的设置方便调节相机、显示器高度与角度，以及方便待测物的取放；在不透光外壳四周的下部边沿上设置有用于容纳导电线、信号线的缺口，导电线、信号线上设置有橡胶圈，橡胶圈的外部尺寸与该缺口尺寸相匹配，不透光外壳的底部与检测台台面相连，连接方式为粘合或者打孔设置螺钉固定。进一步，为进一步加强遮光效果，可在不透光外壳的下部的外周设置有一圈遮光布帘，用于不透光外壳与检测台连接处的二次遮光。
[0052]
进一步，旋转台上设置有托盘，两者粘合固定连接，该托盘为不透光黑色材质制备而得。
[0053]
高分辨灰度相机型号为大恒mer-1070灰度相机，该相机具有usb3.0接口，精度可以达到0.035mm/piexl；高亮显示器为工业用11.5英寸(或其他尺寸如21英寸)高亮显示器(具有1500尼特值及以上亮度)；
[0054]
本发明装置的工作原理与工作流程：水平滑台、旋转台由plc控制器控制，plc控制器与笔记本之间tcp通信，笔记本与高分辨灰度相机、高亮显示器直连；设置plc的ip地址为192.168.0.1，端口号：2000；笔记本电脑(客户端)ip地址：192.168.0.101，数据格式：10进制(非ascii码)。将高反光表面物体置于托盘中，调节高分辨灰度相机、高亮显示器与高反光表面物体的相对位置，调节水平滑台与旋转台。关闭不透光外壳上的门板，启动调节高分
辨灰度相机、高亮显示器，通过笔记本电脑往高亮显示器上投射的多组结构化图像，同时用高分辨灰度相机捕获被每一张结构化图像照射的高反光表面物体的表面照片。由一组结构化图像可得到一组表面照片，将高反光表面物体旋转90
°
或上述一组结构化图像旋转90
°
，即可得到另一组表面照片；将由每组结构化图像获得的高反光表面物体的表面照片进行数据处理，即可获得高反光表面物体表面图像。
[0055]
通过多组结构化图像可得到多张高反光表面物体表面图像，用梯度函数值筛选出最佳高反光表面物体表面图像与对应的最优的一组结构化图像，打开不透光外壳上的门板，更换同类型的下一个高反光表面物体，重复上述两次的投射与拍照过程，再根据得到的两组照片进行数据处理，即可得到该高反光表面物体的表面图像。
[0056]
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0057]
本发明未述及之处适用于现有技术。

技术特征：
1.一种高反光表面物体表面图像获取方法，其特征在于，该方法的操作步骤如下：第一步：将高反光表面物体、高分辨灰度相机与高亮显示器设置于全黑不透光的空间内，并调整三者的位姿，高分辨灰度相机与高亮显示器设置于高反光表面物体的两侧，使高反光表面物体位于高分辨灰度相机镜头的拍摄范围内，使高反光表面物体位于高亮显示器的照射范围内；第二步：开启高分辨灰度相机、高亮显示器以及与两者相连的电脑，通过电脑分别向高亮显示器传输一组明暗结构化图像，高亮显示器分别将该组明暗结构化图像依次投射到高反光表面物体上，高分辨灰度相机依次将被不同明暗结构化图像投射的高反光表面物体表面进行拍摄，得到第一组被明暗结构化图像投射的高反光表面物体表面照片；第三步：将高反光表面物体旋转90
°
或者将第二步中的明暗结构化图像全部以相同方向旋转90
°
后，按第二步中的方法进行明暗结构化图像投射与高反光表面物体表面的拍摄，得到第二组被明暗结构化图像投射的高反光表面物体表面照片；第四步：利用第二步与第三步中获得的两组被明暗结构化图像投射的高反光表面物体表面照片进行高反光表面物体表面图像像素计算；高反光表面物体表面图像某点像素的强度公式为该点处n张照片的像素值减去该点处n张照片像素的平均值，其两者差的n张照片累加和为该点增强后的像素值，n为一组结构化图像张数的两倍；高反光表面物体表面图像某点像素的具体计算公式为下式:式中，i
i,j
代表某点像素值，其中i、j表示坐标位置，为i行j列；表示拍摄照片中第k张、l张图的该点处的像素值；第五步：选用多组明暗结构化图像，重复第二步到第四步的过程，得到多张高反光表面物体表面图像；第六步：将由不同组明暗结构化图像得到的多张高反光表面物体表面图像分别做剪切处理，去掉白边，然后采用梯度函数值对不同图像进行评价；选取梯度函数值最大的高反光表面物体表面图像作为该高反光表面物体最佳的表面图像，并将对应的一组明暗结构化图像作为该类高反光表面物体的最优明暗结构化图像；第七步：更换同一类型的下一个高反光表面物体，并选用第六步中的最优明暗结构化图像，重复第二步到第四步的过程，即可得到该高反光表面物体的表面图像；后续同一类型的高反光表面物体的表面图像获取过程均与该高反光表面物体的表面图像获取过程相同。2.根据权利要求1所述的一种高反光表面物体表面图像获取方法，其特征在于，所述的一组明暗结构化图像为以相同明暗结构单元构成、以固定步长沿同一方向变换所得的一组能够覆盖高亮显示器的图像；一组明暗结构化图像中的张数为明暗结构单元的宽度之和除以步长。3.根据权利要求2所述的一种高反光表面物体表面图像获取方法，其特征在于，所述明暗结构单元由一条白条纹与一条黑条纹并列竖直排布构成。4.一种高反光表面物体表面图像获取装置，其特征在于，该装置可用于实现如权利要
求1-3任一项所述的方法；该装置包括检测台、水平滑台、旋转台、高分辨灰度相机、相机支架、高亮显示器、显示器支架、plc控制器、电脑和不透光外壳，所述水平滑台沿检测台前后方向固定设置在检测台上，相机支架与显示器支架分别相对的设置在检测台的左右两侧，高分辨灰度相机通过高度与角度均可调节的相机夹具设置在相机支架上，高亮显示器通过高度与角度均可调节的夹具设置在显示器支架上；旋转台水平的设置在水平滑台的台面的正中间，通过固定在水平滑台的台面上的旋转台步进电机带动旋转台转动；水平滑台由滑台电机的正反转来带动其台面的来回移动；旋转台步进电机、滑台电机均与plc控制器电连接，plc控制器与电脑之间为tcp通信，高分辨灰度相机、高亮显示器均与电脑通过接口连接；旋转台步进电机、滑台电机、plc控制器、高亮显示器、电脑均由外部供电，高分辨灰度相机由电脑供电；不透光外壳固定在检测台上，将检测台、相机支架、显示器支架容纳于其内，使高分辨灰度相机、高亮显示器位于不透光的空间内；不透光外壳的左右两侧设置对开门板；在不透光外壳四周的下部边沿上设置有用于容纳导电线、信号线的缺口，导电线、信号线上设置有橡胶圈，橡胶圈的外部尺寸与该缺口尺寸相匹配；不透光外壳的底部与检测台台面相连，两者的连接方式为粘合或者打孔设置螺钉固定。5.根据权利要求4所述的一种高反光表面物体表面图像获取装置，其特征在于，旋转台步进电机通过底座固定在水平滑台的台面的正中间，其输出轴竖直朝上设置，旋转台通过底部中心处设置螺纹孔或者通过粘合的方式水平的固定在旋转台步进电机的输出轴顶端。6.根据权利要求4所述的一种高反光表面物体表面图像获取装置，其特征在于，旋转台上设置有托盘，两者粘合固定连接，该托盘为不透光黑色材质制备而得。7.根据权利要求4所述的一种高反光表面物体表面图像获取装置，其特征在于，门板四周包覆有密封圈，用于门板衔接处的不透光处理。8.根据权利要求4所述的一种高反光表面物体表面图像获取装置，其特征在于，在不透光外壳的下部的外周设置有一圈遮光布帘。9.根据权利要求4所述的一种高反光表面物体表面图像获取装置，其特征在于，滑台电机为步进电机或伺服电机。10.根据权利要求4所述的一种高反光表面物体表面图像获取装置，其特征在于，高分辨灰度相机型号为大恒mer-1070灰度相机，该相机具有usb3.0接口；高亮显示器为工业用11.5英寸高亮显示器。

技术总结
本发明公开一种高反光表面物体表面图像获取方法及获取装置，该方法将明场拍照和暗场拍照整合起来，同时通过可调明暗结构化图像的测试与图像评价算法的评估，快速确定该类型高反光表面物体的最优明暗结构化图像的参数信息；此外，不同类型的高反光表面物体只需要测试明暗结构化图像即可，大大缩短了不同类型反光待测物的调节时间，且能由图像评估算法给出图像质量客观评价，获得高反光表面物体最佳的表面图像；该装置在待拍摄物体底下设置有旋转台，可让相机采集到不同方向角度数据信息，提升整体的缺陷识别能力；明暗场的整合与电机的控制使整个装置只需要一个相机、一套不透光外壳，减少了硬件成本与机械装置的冗余，实现了灵活性的快速部署。灵活性的快速部署。灵活性的快速部署。


技术研发人员：陈海永 曹爱斌
受保护的技术使用者：河北工业大学
技术研发日：2021.12.02
技术公布日：2022/3/8