模型训练方法、工业图像缺陷检测方法、装置和存储介质

本发明涉及计算机视觉，尤其是一种模型训练方法、工业图像缺陷检测方法、装置和存储介质。

背景技术：

1、无论是飞机机翼还是芯片电池，大大小小的工业制品在现代社会中的应用十分广泛，随处可见的工业制品在给生活带来便利的同时，也暴露出了一些问题，比如工业质量不过关，存在较多瑕疵等。因此对于工业制品的质量检测至关重要，然而以往的缺陷检测依赖于人工筛查，成本高、效率低，无法胜任大规模的质检需求。

技术实现思路

1、针对目前对工业制品进行质量检测时成本高、效率低等技术问题，本发明的目的在于提供一种模型训练方法、工业图像缺陷检测方法、装置和存储介质。

2、一方面，本发明实施例包括一种模型训练方法，所述模型训练方法和/或工业图像缺陷检测方法包括以下步骤：

3、获取预训练模型；所述预训练模型包括文本编码器、图像编码器和适配器；

4、获取图像训练样本和相应的文本提示训练样本；所述图像训练样本包含工业制品的图像，所述文本提示训练样本用于表示所述图像训练样本中的工业制品的种类以及异常状态；

5、将所述图像训练样本和所述文本提示训练样本输入到所述预训练模型中进行处理；其中，所述文本编码器对所述文本提示训练样本进行特征提取，获得第一文本特征，所述图像编码器和所述适配器对所述图像训练样本进行特征提取，获得第一图像特征，根据所述第一文本特征与所述第一图像特征生成异常分割掩码图；

6、根据所述异常分割掩码图与所述文本提示训练样本，对所述预训练模型进行训练。

7、进一步地，所述图像编码器包括多个图像编码单元；

8、所述适配器包括多个适配单元；各所述适配单元分别对应一个所述图像编码单元。

9、进一步地，所述适配单元为线性映射层。

10、进一步地，所述图像编码器和所述适配器对所述图像训练样本进行特征提取，获得第一图像特征，包括：

11、划分多个阶段；各所述阶段之间存在顺序关系，各所述阶段分别对应一个所述图像编码单元和一个所述适配单元；

12、对于任一个所述阶段，以本阶段的所述图像编码单元对待处理特征信息进行特征提取，获得本阶段的第一特征信息，以本阶段的所述适配单元对所述第一特征信息进行调整，获得本阶段的第二特征信息，对本阶段的所述第一特征信息与第二特征信息进行组合，获得本阶段的第三特征信息；其中，当本阶段为第一个所述阶段，所述待处理特征信息为所述图像训练样本，当本阶段为其他所述阶段，所述待处理特征信息为上一阶段获得的所述第三特征信息；

13、以各阶段获得的所述第二特征信息作为所述第一图像特征。

14、进一步地，所述根据所述第一文本特征与所述第一图像特征生成异常分割掩码图，包括：

15、对所述第一文本特征分别与各所述第二特征信息执行矩阵叉积，获得多个相似度矩阵；

16、对各所述相似度矩阵执行逐元素求平均，获得平均值矩阵；

17、对所述平均值矩阵进行双线性插值，获得插值矩阵；

18、将所述插值矩阵输入到分割头进行处理；

19、获取所述分割头输出的所述异常分割掩码图。

20、进一步地，所述根据所述异常分割掩码图与所述文本提示训练样本，对所述预训练模型进行训练，包括：

21、冻结所述文本编码器和所述图像编码器的网络参数；

22、根据所述异常分割掩码图与所述文本提示训练样本进行损失函数计算，获得梯度参数；

23、根据所述梯度参数，回传更新所述适配器的网络参数。

24、进一步地，所述根据所述异常分割掩码图与所述文本提示训练样本进行损失函数计算，获得梯度参数，包括：

25、根据所述异常分割掩码图与所述文本提示训练样本进行dice函数计算，获得第一参数值；

26、根据所述异常分割掩码图与所述文本提示训练样本进行focal函数计算，获得第二参数值；

27、根据所述异常分割掩码图与所述文本提示训练样本进行bce函数计算，获得第三参数值；

28、对所述第一参数值、所述第二参数值和所述第三参数值进行求和，获得所述梯度参数。

29、另一方面，本发明实施例包括一种工业图像缺陷检测方法，所述工业图像缺陷检测方法包括以下步骤：

30、获取预训练模型；所述预训练模型为执行权利要求1-7任一项所述模型训练方法所得到的预训练模型；

31、获取待识别工业图像；

32、将所述待识别工业图像输入到所述预训练模型中进行处理；

33、获取所述预训练模型输出的工业图像缺陷检测结果。

34、另一方面，本发明实施例还包括一种计算机装置，包括存储器和处理器，存储器用于存储至少一个程序，处理器用于加载至少一个程序以执行实施例中的模型训练方法和/或工业图像缺陷检测方法。

35、另一方面，本发明实施例还包括一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于执行实施例中的模型训练方法和/或工业图像缺陷检测方法。

36、本发明的有益效果是：实施例中的模型训练方法，通过对预训练模型进行训练，训练后的预训练模型具有对待识别工业图像进行识别，判断待识别工业图像中的工业制品是否存在缺陷(异常)的性能；预训练模型是在文本编码器和图像编码器的基础上增加适配器得到的，能够将自然图像的先验知识迁移到工业图像中，这样使得预训练模型整体能够对属于工业图像的图像训练样本进行处理，并能够避免出现域失配的问题。

技术特征：

1.一种模型训练方法，其特征在于，所述模型训练方法包括：

2.根据权利要求1所述的模型训练方法，其特征在于：

3.根据权利要求2所述的模型训练方法，其特征在于，所述适配单元为线性映射层。

4.根据权利要求2或3所述的模型训练方法，其特征在于，所述图像编码器和所述适配器对所述图像训练样本进行特征提取，获得第一图像特征，包括：

5.根据权利要求4所述的模型训练方法，其特征在于，所述根据所述第一文本特征与所述第一图像特征生成异常分割掩码图，包括：

6.根据权利要求1所述的模型训练方法，其特征在于，所述根据所述异常分割掩码图与所述文本提示训练样本，对所述预训练模型进行训练，包括：

7.根据权利要求6所述的模型训练方法，其特征在于，所述根据所述异常分割掩码图与所述文本提示训练样本进行损失函数计算，获得梯度参数，包括：

8.一种工业图像缺陷检测方法，其特征在于，所述工业图像缺陷检测方法包括：

9.一种计算机装置，其特征在于，包括存储器和处理器，存储器用于存储至少一个程序，处理器用于加载至少一个程序以执行权利要求1-8任一项所述的模型训练方法和/或工业图像缺陷检测方法。

10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，处理器可执行的程序在由处理器执行时用于执行权利要求1-8任一项所述的模型训练方法和/或工业图像缺陷检测方法。

技术总结
本发明公开了一种模型训练方法、工业图像缺陷检测方法、装置和存储介质，模型训练方法包括获取图像训练样本和相应的文本提示训练样本，将图像训练样本和文本提示训练样本输入到预训练模型中进行处理，获得异常分割掩码图，根据异常分割掩码图与文本提示训练样本，对预训练模型进行训练等步骤。本发明通过对预训练模型进行训练，训练后的预训练模型具有判断待识别工业图像中的工业制品是否存在缺陷的性能；预训练模型是在文本编码器和图像编码器的基础上增加适配器得到的，能够将自然图像的先验知识迁移到工业图像中，预训练模型整体能够对属于工业图像的图像训练样本进行处理，并能够避免出现域失配的问题。本发明广泛应用于计算机视觉技术领域。

技术研发人员：高陈强,袁菁一,黄思宇
受保护的技术使用者：中山大学
技术研发日：
技术公布日：2024/12/5