一种基于可变形卷积的输电塔销钉缺陷检测方法

1.本发明涉及电气设备状态监测领域，特别涉及一种基于可变形卷积的输电塔销钉缺陷检测方法。


背景技术：

2.基于深度学习的现有目标检测方法主要分为以下几类或几个典型阶段：1、rcnn系列，包括rcnn、fast rcnn、mask rcnn等，使用卷积神经网络提取候选区域的特征，并进行分类，属于目标检测的经典算法；2、yolo系列，包括yolo v1、yolo v2、yolo v3、yolo v4、yolo v5、yolo x等，yolo系列针对与目标形状匹配的目标框计算特征，将目标分类与目标定位统一起来，算法具有高效、灵活和泛化性能好的特点；3、ssd系列，采用多尺度特征图对多个先验框进行分析判断；4、特征提取优化，包括fpn、restinanet等，fpn对不同分辨率特征进行融合，restinanet解决特征提取中网络层数增加产生的梯度消失、爆炸和网络退化问题。
3.由于输电塔螺钉相对于输电塔而言，存在目标小、背景复杂的难点，同时螺钉上的销钉缺陷样本较少，导致现有目标检测方法在输电塔的销钉缺陷智能检测方面识别存在准确率低、漏检率高的问题。
4.对于销钉缺陷而言，自身的形态不会发生变化，变化的是销钉缺陷的颜色、背景、拍摄角度等,现有目标检测方法对于颜色变化的适应性较好，但受限于样本少，对于拍摄角度导致的形变缺乏一定的适应性,对一些形变目标的识别，难于智能识别。


技术实现要素：

5.为了克服上述所述的不足，本发明的目的是提供一种基于可变形卷积的输电塔销钉缺陷检测方法，其引入resnet50特征提取方式能获得目标更多的特征，同时引入特征金字塔能更好地适应目标大小变化，且采用激活函数sigmoid，在测试图像时，降低阈值，使得更多的目标感兴趣区域作为目标初始检测结果，降低目标的漏检情况，并进一步针对矫正后的目标初始检测结果，即包含销钉缺陷的局部区域，在卷积层的基础上引入可变形卷积，使得目标二次检测网络能适应销钉缺陷在不同视角中的形变，准确识别形变的目标，去除目标初始检测结果中的虚警。
6.本发明解决其技术问题的技术方案是：一种基于可变形卷积的输电塔销钉缺陷检测方法，其中，包括如下步骤：步骤s1、建立基于resnet50与特征金字塔的目标初始检测网络，使用样本数据集对目标初始检测网络进行训练，得到目标初始检测网络的参数以及激活函数sigmoid的基准阈值λ，且设定所述目标初始检测网络对测试图像进行销钉缺陷检测时的激活函数sigmoid的实际阈值为λ＇，且λ＇≤λ；步骤s2、所述目标初始检测网络得到的目标初始检测区域，即包含销钉缺陷的局
部区域，输入整流模块内进行矫正，再输出矫正后的图像；步骤s3、建立基于可变形卷积的目标二次检测网络，所述目标二次检测网络包括特征提取模块和全连接层，所述特征提取模块包括四个卷积层、一个可变形卷积层和特征融合单元，矫正后的图像输入至所述特征提取模块内，将一个所述可变形卷积层和四个所述卷积层得到的特征图分别进行两倍上采样得到特征，然后把该特征通过add操作横向连接至前一层特征，通过所述特征融合单元得到融合后的特征图，将融合后的特征图输入至所述全连接层，得到一个二分类结果输出，通过二分类结果判断是否属于销钉缺陷。
7.作为本发明的一种改进，在步骤s3内，可变形卷积层由卷积块（卷积核大小为3
×
3）加上像素偏移量得到，所述像素偏移量的学习是利用插值方法通过反向传播进行学习。
8.作为本发明的进一步改进，在步骤s3内，四个卷积层依次为卷积层conv1、卷积层conv2、卷积层conv3和卷积层conv4，卷积层conv1包括三个卷积块，卷积层conv2包括四个卷积块，卷积层conv3包括六个卷积块，卷积层conv4包括三个卷积块。
9.作为本发明的更进一步改进，步骤s1包括如下步骤：步骤s11、基于resnet50的特征提取：设定有五个阶段，第一阶段通过卷积和池化方式对输入的图像进行预处理，从而输出特征图c1，第二阶段至第五阶段对输入的特征图进行特征提取，其中，第二阶段的输入为第一阶段的输出，第三阶段的输入为第二阶段的的输出，第四阶段的输入为第三阶段的输出，第五阶段的输入为第四阶段的输出，第二阶段至第五阶段输出的特征图分别为特征图c2、特征图c3、特征图c4和特征图c5；步骤s12、特征金字塔的构建：将特征图c2、特征图c3、特征图c4、特征图c5构成特征金字塔，从特征图c5开始，特征图c5经过1
×
1卷积得到特征图p5，将特征图p5通过最近邻距离方法进行两倍上采样得到特征图p5＇，特征图c4通过1
×
1卷积调整通道数得到特征图c4＇，分辨率相同的特征图p5＇和特征图c4＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3
×
3的卷积处理，得到特征图p4；将特征图p4通过最近邻距离方法进行两倍上采样得到特征图p4＇，特征图c3通过1
×
1卷积调整通道数得到特征图c3＇，分辨率相同的特征图p4＇和特征图c3＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3
×
3的卷积处理，得到特征图p3；将特征图p3通过最近邻距离方法进行两倍上采样得到特征图p3＇，特征图c2通过1
×
1卷积调整通道数得到特征图c2＇，分辨率相同的特征图p3＇和特征图c2＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3
×
3的卷积处理，得到特征图p2；步骤s13、目标建议框分析：对特征图p5、特征图p4、特征图p3、特征图p2和最大池化层，分别设定以16
×
16、32
×
32、64
×
64、128
×
128、256
×
256为锚框大小，以图像中的每个点为中心设定相应的锚框，将每个锚框视为目标感兴趣区域；步骤s14、目标感兴趣区域池化：对每一个目标感兴趣区域，在特征图p5、特征图p4、特征图p3、特征图p2中选择特征图，进行池化操作；步骤s15、目标区域调整及类别判断：将池化操作的结果输入全连接层，全连接层的输出经1
×
1卷积输入到目标预测框和激活函数sigmoid中，目标预测框调整目标感兴趣区域大小后反馈到目标感兴趣区域的池化处理，通过不断迭代得到准确的目标区域，激活函数sigmoid对输入的特征值进行判断，如果激活函数sigmoid的输出大于基准阈值λ，则认为检测到目标。
10.作为本发明的更进一步改进，在步骤s2内，所述整流模块包括：
定位网络，用于回归仿射变换的六个参数，输入图像进行仿射变换得到输出图像；网格生成器，用于针对输出图像的每个坐标点，根据仿射变换的六个参数通过矩阵运算得到输入图像的坐标点；采样器，用于针对网格生成器得到的输入图像的坐标点，以其相邻像素值为采样信息采用双线性插值法得到坐标点的像素值。
11.作为本发明的更进一步改进，所述定位网络由两个卷积操作和一个全连接层构成，将输入的图像先后进行两个卷积操作，然后将卷积操作的输出进而输入至全连接层，回归出六个参数值，形成一个2
×
3的矩阵，该矩阵的值对应着仿射变换的参数。
12.在本发明内，建立的基于resnet50与特征金字塔的目标初始检测网络，引入resnet50特征提取方式，相对于普通卷积特征提取方式，能获得目标更多的特征，同时引入特征金字塔能更好地适应目标大小变化，即适应无人机拍摄过程中视角远近变化，获得更为准确的目标检测区域；本发明所建立的基于resnet50与特征金字塔的目标初始检测网络，采用激活函数sigmoid，在测试图像时，降低阈值，使得更多的目标感兴趣区域作为目标初始检测结果，降低目标的漏检情况；而且本发明所建立基于可变形卷积的目标二次检测网络，针对矫正后的目标初始检测结果展开处理，即针对包含销钉缺陷的局部区域，在卷积层的基础上引入可变形卷积，使得目标二次检测网络能适应销钉缺陷在不同视角中的形变，准确识别形变的目标，去除目标初始检测结果中的虚警。
附图说明
13.为了易于说明，本发明由下述的较佳实施例及附图作以详细描述。
14.图1为本发明的销钉缺陷检测原理图；图2为本发明的基于resnet50与特征金字塔的目标初始检测网络的示意图；图3为本发明的整流模块的原理图；图4为本发明的基于可变形卷积的目标二次检测网络的示意图；附图标记：a表示add操作。
具体实施方式
15.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
16.本发明用于基于图像的输电塔销钉缺陷检测，通过无人机拍摄获取一批含有销钉缺陷的输电塔图像数据集，通过人工等方式将图像数据集中销钉缺陷的位置进行了标注，从而获得模型的基本样本数据集，并对基本样本数据集进行数据增强处理扩充样本数量，得到样本数据集，用于发明中检测网络的训练。
17.如图1至图4所示，本发明的一种基于可变形卷积的输电塔销钉缺陷检测方法，包括如下步骤：步骤s1、建立基于resnet50与特征金字塔的目标初始检测网络，使用样本数据集对目标初始检测网络进行训练，得到目标初始检测网络的参数以及激活函数sigmoid的基准阈值λ，且设定所述目标初始检测网络对测试图像进行销钉缺陷检测时的激活函数
sigmoid的实际阈值为λ＇，且λ＇≤λ；步骤s2、所述目标初始检测网络得到的目标初始检测区域输入，即包含销钉缺陷的局部区域，整流模块内进行矫正，再输出矫正后的图像；步骤s3、建立基于可变形卷积的目标二次检测网络，所述目标二次检测网络包括特征提取模块和全连接层，所述特征提取模块包括四个卷积层、一个可变形卷积层和特征融合单元，矫正后的图像输入至所述特征提取模块内，将一个所述可变形卷积层和四个所述卷积层得到的特征图分别进行两倍上采样得到特征，然后把该特征通过add操作横向连接至前一层特征，通过所述特征融合单元得到融合后的特征图，将融合后的特征图输入至所述全连接层，得到一个二分类结果输出，通过二分类结果判断是否属于销钉缺陷。
18.如图4所示，目标二次检测网络包括特征提取模块和全连接层；特征提取模块由四个卷积层和一个可变形卷积层组成，四个卷积层依次为卷积层conv1、卷积层conv2、卷积层conv3和卷积层conv4，卷积层conv1包括三个卷积块，每个卷积块由三个普通卷积组成，其卷积核大小分别为1
×
1，3
×
3和1
×
1，共9层；卷积层conv2包括四个卷积块，每个卷积块由三个普通卷积组成，其卷积核大小分别为1
×
1，3
×
3和1
×
1，共12层；卷积层conv3包括六个卷积块，每个卷积块由三个普通卷积组成，其卷积核大小分别为1
×
1，3
×
3和1
×
1，共18层；卷积层conv4包括三个卷积块，每个卷积块由三个普通卷积组成；其卷积核大小分别为1
×
1，3
×
3和1
×
1，共9层。
19.特征融合单元将一个可变形卷积层和四个卷积层得到的特征图分别进行两倍上采样得到特征，然后把该特征通过add操作横向连接至前一层特征，例如，可变形卷积层的特征图进行两倍上采样得到特征后连接到卷积层conv4上，而后得到卷积层conv4的高层特征图，再将卷积层conv4的高层特征图进行两倍上采样得到特征后连接到卷积层conv3上，而后得到卷积层conv3的高层特征图，再将卷积层conv3的高层特征图进行两倍上采样得到特征后连接到卷积层conv2上，而后得到卷积层conv2的高层特征图，再将卷积层conv2的高层特征图进行两倍上采样得到特征后连接到卷积层conv1上，得到融合后的特征图。
20.（2）全连接层将特征提取模块得到的融合后的特征图输入到全连接层，得到一个二分类结果输出，通过二分类结果判断是否属于销钉缺陷。
21.在本发明内，建立的基于resnet50与特征金字塔的目标初始检测网络，引入resnet50特征提取方式，相对于普通卷积特征提取方式，能获得目标更多的特征，同时引入特征金字塔能更好地适应目标大小变化，即适应无人机拍摄过程中视角远近变化，获得更为准确的目标检测区域；本发明所建立的基于resnet50与特征金字塔的目标初始检测网络，采用激活函数sigmoid，在测试图像时，降低阈值，使得更多的目标感兴趣区域作为目标初始检测结果，降低目标的漏检情况；而且本发明所建立基于可变形卷积的目标二次检测网络，针对矫正后的目标初始检测结果，即针对包含销钉缺陷的局部区域，在卷积层的基础上引入可变形卷积，使得目标二次检测网络能适应销钉缺陷在不同视角中的形变，准确识别形变的目标，去除目标初始检测结果中的虚警。
22.在本发明内，在步骤s3内，四个卷积层依次为卷积层conv1、卷积层conv2、卷积层conv3和卷积层conv4，卷积层conv1包括三个卷积块，卷积层conv2包括四个卷积块，卷积层conv3包括六个卷积块，卷积层conv4包括三个卷积块；可变形卷积层由卷积块（卷积核大小
为3
×
3）加上像素偏移量得到，像素偏移量的学习是利用插值方法通过反向传播进行学习。
23.在本发明内，步骤s1包括如下步骤：步骤s11、基于resnet50的特征提取：设定有五个阶段，第一阶段通过卷积和池化方式对输入的图像进行预处理，从而输出特征图c1，第二阶段至第五阶段对输入的特征图进行特征提取，其中，第二阶段的输入为第一阶段的输出，第三阶段的输入为第二阶段的的输出，第四阶段的输入为第三阶段的输出，第五阶段的输入为第四阶段的输出，第二阶段至第五阶段输出的特征图分别为特征图c2、特征图c3、特征图c4和特征图c5；步骤s12、特征金字塔的构建：将特征图c2、特征图c3、特征图c4、特征图c5构成特征金字塔，从特征图c5开始，特征图c5经过1
×
1卷积得到特征图p5，将特征图p5通过最近邻距离方法进行两倍上采样得到特征图p5＇，特征图c4通过1
×
1卷积调整通道数得到特征图c4＇，分辨率相同的特征图p5＇和特征图c4＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3
×
3的卷积处理，得到特征图p4；将特征图p4通过最近邻距离方法进行两倍上采样得到特征图p4＇，特征图c3通过1
×
1卷积调整通道数得到特征图c3＇，分辨率相同的特征图p4＇和特征图c3＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3
×
3的卷积处理，得到特征图p3；将特征图p3通过最近邻距离方法进行两倍上采样得到特征图p3＇，特征图c2通过1
×
1卷积调整通道数得到特征图c2＇，分辨率相同的特征图p3＇和特征图c2＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3
×
3的卷积处理，得到特征图p2；步骤s13、目标建议框分析：对特征图p5、特征图p4、特征图p3、特征图p2和最大池化层，分别设定以16
×
16、32
×
32、64
×
64、128
×
128、256
×
256为锚框大小，以图像中的每个点为中心设定相应的锚框，将每个锚框视为目标感兴趣区域；步骤s14、目标感兴趣区域池化：对每一个目标感兴趣区域，在特征图p5、特征图p4、特征图p3、特征图p2中选择特征图，进行池化操作；步骤s15、目标区域调整及类别判断：将池化操作的结果输入全连接层，全连接层的输出经1
×
1卷积输入到目标预测框和激活函数sigmoid中，目标预测框调整目标感兴趣区域大小后反馈到目标感兴趣区域的池化处理，通过不断迭代得到准确的目标区域，激活函数sigmoid对输入的特征值进行判断，如果激活函数sigmoid的输出大于基准阈值λ，则认为检测到目标。
24.在步骤s2内，整流模块包括：定位网络，用于回归仿射变换的六个参数，输入图像进行仿射变换得到输出图像；网格生成器，用于针对输出图像的每个坐标点，根据仿射变换的六个参数通过矩阵运算得到输入图像的坐标点；采样器，用于针对网格生成器得到的输入图像的坐标点，以其相邻像素值为采样信息采用双线性插值法得到坐标点的像素值。
25.定位网络由两个卷积操作和一个全连接层构成，将输入的图像先后进行两个卷积操作，然后将卷积操作的输出进而输入至全连接层，回归出六个参数值，形成一个2
×
3的矩阵，该矩阵的值对应着仿射变换的参数。
26.具体地实施例如下：本实施例主要建立深度神经网络模型用于无人机输电塔销钉缺陷检测，通过无人机拍摄获取了一批含有销钉缺陷的输电塔图像数据集，通过人工等方式将图像数据集中销
钉缺陷的位置进行了标注，从而获得模型的基本样本数据集，并对基本样本数据集进行数据增强处理扩充样本数量，得到样本数据集，用于模型训练。
27.本实施例的深度神经网络模型，以缺少销钉的螺母为检测目标，以样本数据集作为训练样本，主要包括建立并训练目标初始检测网络，降低目标初始检测网络阈值，整流模块，建立并训练目标二次检测网络等四个主要步骤：步骤一、建立并训练基于resnet50与特征金字塔的目标初始检测网络，如图2所示，目标初始检测网络包括基于resnet50的特征提取、特征金字塔（fpn）构建、目标建议框分析、目标感兴趣区域池化、目标区域调整及类别判断等部分，如下：（1）基于resnet50的特征提取具体过程为：resnet50包含5个阶段，阶段1通过卷积和池化方式对输入的m
×
n的图像进行预处理，阶段2-阶段5主要由bottleneck组成，对输入的特征图进行特征提取，其中，阶段2-阶段5的输入分别为阶段1-阶段4的输出，阶段2-阶段5的输出特征图记为c2、c3、c4、c5。
28.（2）特征金字塔构建：将特征图c2、c3、c4、c5构成特征金字塔，相对于图像的分辨率下采样为{4,8,16,32}；从c5开始，c5经过1
×
1卷积，得到p5，将p5通过最近邻方法把特征图上采样2倍得到p5＇，c4通过1
×
1卷积调整通道数得到c4＇，分辨率相同的p5＇和c4＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3
×
3的卷积处理，得到特征图p4；针对p4与c3、p3与c2采用p5与c4相同的处理，得到p3、p2。
29.（3）目标建议框分析：对特征图p5-p2和最大池化层，以16
×
16、32
×
32、64
×
64、128
×
128、256
×
256为锚框大小，以2：1、1：1、1：2为锚框形态变化比例，以图像中的每个点为中心设定相应的锚框，将每个锚框视为目标感兴趣区域。
30.（4）目标感兴趣区域池化：对每一个目标感兴趣区域，在特征图p5-p2间选择合适的特征图，进行池化操作。
31.（5）目标区域调整及类别判断：目标区域调整及类别判断主要包含两个1024层的全连接网络层和两个支路，其中全连接网络层的输入为目标感兴趣区域池化的池化操作结果；全连接网络层的输出分别经1
×
1卷积输入到回归层和sigmoid激活函数中，回归层调整感兴趣区域大小后反馈到感兴趣区域池化处理，通过不断迭代得到更为准确的目标区域，sigmoid激活函数对输入的特征值进行判断，如果激活函数sigmoid的输出大于阈值λ，则认为检测到目标。
32.步骤二：降低目标初始检测网络阈值设定步骤一所建立的目标初始检测网络中类别判断中激活函数sigmoid的实际阈值为λ＇，使得λ＇≤λ，通过降低阈值使得更多的目标区域进入后续处理，避免部分目标区域漏检，但同时会增加目标区域的虚警，后续处理主要是去除虚警。
33.步骤三：整流模块如图3所示，整流模块主要由三部分构成，分别是定位网络、网格生成器和采样器，对于训练过程，整流模块的输入是标注的目标区域，对于测试过程，整流模块的输入是目标初始检测网络得到的目标初始检测区域，输出是矫正后的图像。
34.（1）定位网络：
定位网络用于训练输入图像仿射变换的6个参数，定位网络由两个卷积操作和一个全连接层构成，将输入的图像先后进行两个卷积操作，卷积核大小分别为7
×
7和5
×
5，然后将卷积操作的输出从而输入到全连接层，回归出6个参数值，形成一个2
×
3的矩阵，该矩阵的值对应着仿射变换的参数。
35.（2）网格生成器：以整流模块的输出，即矫正后的图像，为目标图像，针对目标图像中的每个坐标点（x，y），以定位网络获得的仿射变换参数，通过矩阵运算，得到（x，y）在输入图像中的坐标点（x＇，y＇）。
36.（3）采样器：以输入图像中的坐标点（x＇，y＇）为中心，取其相邻的坐标点（
⌊
x＇
⌋
，
⌊
y＇
⌋
）、（
⌊
x＇
⌋
，
⌈
y＇
⌉
）、（
⌈
x＇
⌉
，
⌊
y＇
⌋
）、（
⌈
x＇
⌉
，
⌈
y＇
⌉
）的像素值为采样信息，采用双线性插值法得到坐标点（x＇，y＇）的像素值，该像素值为输出图像坐标点（x，y）的像素值。
37.步骤四：建立并训练基于可变形卷积的目标二次检测网络：如图4所示，目标二次检测网络主要包括特征提取模块和全连接层，具体地如下：（1）特征提取模块：特征提取模块由卷积层conv1、卷积层conv2、卷积层conv3、卷积层conv4和一个可变形卷积层组合而成，并进行特征融合；其中，卷积层conv1共3个块，每个块由3个卷积组合而成，其卷积核大小分别为1
×
1，3
×
3和1
×
1，共9层；卷积层conv2共4个块，每个块由3个卷积组合而成，其卷积核大小分别为1
×
1，3
×
3和1
×
1，共12层；卷积层conv3共6个块，每个块由3个卷积组合而成，其卷积核大小分别为1
×
1，3
×
3和1
×
1，共18层；卷积层conv4共3个块，每个块由3个卷积层组合而成，其卷积核大小分别为1
×
1，3
×
3和1
×
1，共9层；可变形卷积层由卷积（卷积核大小为3
×
3）加上像素偏移量得到，其中像素偏移量的学习是利用插值算法，通过反向传播进行学习。
38.特征融合单元将可变形卷积得到的高层特征图进行上采样（
×
2），然后把该特征通过add操作横向连接至前一层特征，如可变形特征连接卷积层conv4特征，该特征再上采样连接卷积层conv3特征，以此类推，得到融合后的特征图。
39.（2）全连接层将特征提取模块得到的融合后的特征图输入到全连接层，得到一个二分类输出结果，是否是缺销钉的螺母。
40.本发明具备如下优点：1、所建立的基于resnet50与特征金字塔的目标初始检测网络，引入resnet50特征提取方式，相对于普通卷积特征提取方式，能获得目标更多的特征，同时引入特征金字塔能更好的适应目标大小变化，即适应无人机拍摄过程中视角远近变化，获得更为准确的目标检测区域。
41.2、所建立的基于resnet50与特征金字塔的目标初始检测网络，采用激活函数sigmoid，在测试图像时，降低阈值，使得更多的目标潜在区域作为目标初始检测结果，降低目标的漏检情况。
42.3、所建立的基于可变形卷积的目标二次检测网络，针对矫正后的目标初始检测结果，即针对包含销钉缺陷的局部区域，在卷积层的基础上引入可变形卷积，使得目标二次检
测网络能适应销钉缺陷在不同视角中的形变，准确识别形变的目标，去除目标初始检测结果中的虚警。
43.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，包括如下步骤：步骤s1、建立基于resnet50与特征金字塔的目标初始检测网络，使用样本数据集对目标初始检测网络进行训练，得到目标初始检测网络的参数以及激活函数sigmoid的基准阈值λ，且设定所述目标初始检测网络对测试图像进行销钉缺陷检测时的激活函数sigmoid的实际阈值为λ＇，且λ＇≤λ；步骤s2、所述目标初始检测网络得到的目标初始检测区域，即包含销钉缺陷的局部区域，输入整流模块内进行矫正，再输出矫正后的图像；步骤s3、建立基于可变形卷积的目标二次检测网络，所述目标二次检测网络包括特征提取模块和全连接层，所述特征提取模块包括四个卷积层、一个可变形卷积层和特征融合单元，矫正后的图像输入至所述特征提取模块内，将一个所述可变形卷积层和四个所述卷积层得到的特征图分别进行两倍上采样得到特征，然后把特征通过add操作横向连接至前一层特征，通过所述特征融合单元得到融合后的特征图，将融合后的特征图输入至所述全连接层，得到一个二分类结果输出，通过二分类结果判断是否属于销钉缺陷。2.根据权利要求1所述的一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，在步骤s3内，可变形卷积层由卷积块加上像素偏移量得到，所述像素偏移量的学习是利用插值方法通过反向传播进行学习。3.根据权利要求2所述的一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，在步骤s3内，四个卷积层依次为卷积层conv1、卷积层conv2、卷积层conv3和卷积层conv4，卷积层conv1包括三个卷积块，卷积层conv2包括四个卷积块，卷积层conv3包括六个卷积块，卷积层conv4包括三个卷积块。4.根据权利要求1所述的一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，步骤s1包括如下步骤：步骤s11、基于resnet50的特征提取：设定有五个阶段，第一阶段通过卷积和池化方式对输入的图像进行预处理，从而输出特征图c1，第二阶段至第五阶段对输入的特征图进行特征提取，其中，第二阶段的输入为第一阶段的输出，第三阶段的输入为第二阶段的的输出，第四阶段的输入为第三阶段的输出，第五阶段的输入为第四阶段的输出，第二阶段至第五阶段输出的特征图分别为特征图c2、特征图c3、特征图c4和特征图c5；步骤s12、特征金字塔的构建：将特征图c2、特征图c3、特征图c4、特征图c5构成特征金字塔，从特征图c5开始，特征图c5经过1
×
1卷积得到特征图p5，将特征图p5通过最近邻距离方法进行两倍上采样得到特征图p5＇，特征图c4通过1
×
1卷积调整通道数得到特征图c4＇，分辨率相同的特征图p5＇和特征图c4＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3
×
3的卷积处理，得到特征图p4；将特征图p4通过最近邻距离方法进行两倍上采样得到特征图p4＇，特征图c3通过1
×
1卷积调整通道数得到特征图c3＇，分辨率相同的特征图p4＇和特征图c3＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3
×
3的卷积处理，得到特征图p3；将特征图p3通过最近邻距离方法进行两倍上采样得到特征图p3＇，特征图c2通过1
×
1卷积调整通道数得到特征图c2＇，分辨率相同的特征图p3＇和特征图c2＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3
×
3的卷积处理，得到特征图p2；步骤s13、目标建议框分析：对特征图p5、特征图p4、特征图p3、特征图p2和最大池化层，分别设定以16
×
16、32
×
32、64
×
64、128
×
128、256
×
256为锚框大小，以图像中的每个点为
中心设定相应的锚框，将每个锚框视为目标感兴趣区域；步骤s14、目标感兴趣区域池化：对每一个目标感兴趣区域，在特征图p5、特征图p4、特征图p3、特征图p2中选择特征图，进行池化操作；步骤s15、目标区域调整及类别判断：将池化操作的结果输入全连接层，全连接层的输出经1
×
1卷积输入到目标预测框和激活函数sigmoid中，目标预测框调整目标感兴趣区域大小后反馈到目标感兴趣区域的池化处理，通过不断迭代得到准确的目标区域，激活函数sigmoid对输入的特征值进行判断，如果激活函数sigmoid的输出大于基准阈值λ，则认为检测到目标。5.根据权利要求1所述的一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，在步骤s2内，所述整流模块包括：定位网络，用于回归仿射变换的六个参数，输入图像进行仿射变换得到输出图像；网格生成器，用于针对输出图像的每个坐标点，根据仿射变换的六个参数通过矩阵运算得到输入图像的坐标点；采样器，用于针对网格生成器得到的输入图像的坐标点，以其相邻像素值为采样信息采用双线性插值法得到坐标点的像素值。6.根据权利要求5所述的一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，所述定位网络由两个卷积操作和一个全连接层构成，将输入的图像先后进行两个卷积操作，然后将卷积操作的输出进而输入至全连接层，回归出六个参数值，形成一个2
×
3的矩阵，该矩阵的值对应着仿射变换的参数。

技术总结
本发明涉及电气设备状态监测领域，特别涉及一种基于可变形卷积的输电塔销钉缺陷检测方法，其包含基于ResNet50与特征金字塔的目标初始检测网络、整流模块和基于可变形卷积的目标二次检测网络；引入ResNet50特征提取方式能获得目标更多的特征，同时引入特征金字塔能更好地适应目标大小变化，且采用激活函数Sigmoid，在测试图像时，降低阈值，使得更多的目标感兴趣区域作为目标初始检测区域，降低目标的漏检情况；采用整流模块对目标初始检测区域进行图像矫正，并在四个卷积层的基础上引入可变形卷积，使得目标二次检测网络能适应销钉缺陷在不同视角中的形变，准确识别形变的目标，去除目标初始检测结果中的虚警。去除目标初始检测结果中的虚警。去除目标初始检测结果中的虚警。


技术研发人员：王文彬 辛建波 胡蕾 范瑞祥 卢源文
受保护的技术使用者：国家电网有限公司 江西师范大学
技术研发日：2022.02.10
技术公布日：2022/3/8