一种基于深度学习的线缆接口松脱检测方法

1.本发明属于人工智能图像识别技术领域，具体涉及一种基于深度学习的线缆接口松脱检测方法。


背景技术：

2.随着可再生能源技术在全球的迅猛发展，风电机组规模不断扩大，提高巡检质量和运维水平迫在眉睫。风机机舱内部输电线缆的巡检是风电机组日常巡查的重要内容之一，在使用过程中，由于受到风机振动、冲击等因素影响，很容易引起线缆接口的松动、脱落，从而引起设备故障、甚至重大事故。按照统计，风机机组机舱内部常见发生事故之一就是线缆松脱故障导致的火灾事故，而传统人工巡检、运维等工作劳动强度大，尤其是风机机舱人工攀爬高度在50-70m,工作繁杂，工作响应及时性和实时性差，效率低下，工作人员安全易有隐患。
3.运用智能化的技术提高巡检质量，降低运维成本，是未来风电场运维的主流思路。传统常规的智能检测手段多是通过设置相应的传感器或专门的感测设备，但是对于风机机舱输电线缆检测而言，由于风机机舱设置在几十米甚至上百米的高空，温度、湿度等环境因素变化很大，传感器在此多变的环境下工作容易发生不稳定，而如果追求高可靠性的传感器，又势必成本上承受不了。
4.随着近年来人工智能和机器视觉技术的发展，利用图像识别技术来执行相应的远程监测任务成为新的发展趋势；并且在风机机舱内或周围也多有架设摄像头等视频监控设备，因此，如何基于既有的监控图像以实现线缆接口检查功能，是一种相对较为可行的实现智能化巡检的技术手段。


技术实现要素：

5.针对现有技术中存在的不足，本发明提供了一种基于深度学习的线缆接口松脱检测方法，用以解决风机线缆接口是否松脱的智能化远程巡检问题。
6.本发明通过以下技术手段实现上述技术目的。
7.一种基于深度学习的线缆接口松脱检测方法，检测前，在接口两端的线缆接头上做上标识线；检测时，拍摄获取带有标识线一侧的线缆接口图像，利用神经网络模型，检测识别出图像中的线缆接口并输出相应线缆接口图像选框区域，之后提取线缆接口图像区域中的标识线，并根据提取出的标识线状态，判断线缆接口是否松脱。
8.进一步地，两端线缆接头上的标识线样式相同，两端线缆接头对接后，两标识线位于同一直线上，两标识线之间留有间隔。
9.进一步地，所述标识线为红色。
10.进一步地，所述神经网络模型为yolo v5s。
11.进一步地，利用yolo v5s检测线缆接口时，置信度设为0.9。
12.进一步地，在提取线缆接口图像区域中的标识线步骤中，首先对图像进行hsv色域
空间变换，之后设定特征颜色阀值，将阀值范围外的像素涂黑，以此提取出标识线的颜色像素；最后通过求解最小外接矩形得到标识线的轮廓。
13.进一步地，所述特征颜色阀值的上限为[180,255,255]、下限为[10,43,46]。
[0014]
进一步地，在求解最小外接矩形前，先对图像做闭运算处理。
[0015]
进一步地，利用opencv图像处理算法完成对标识线轮廓的提取。
[0016]
进一步地，线缆接口松脱的判断标准为：
[0017]
当提取到的标识线轮廓数量为1时，或者提取到2个轮廓，但2个轮廓中较小的1个轮廓范围小于设定的阀值时，判定线缆接口松脱；
[0018]
当提取到的标识线轮廓数为2时，判断两标识线轮廓的间距是否在设定的阀值范围内，如果超出阀值则判定线缆接口松脱；
[0019]
当提取到的标识线轮廓数为2时，判断两标识线轮廓之间的夹角是否超过设定的阀值，如果超出阀值则判定线缆接口松脱。
[0020]
本发明的有益效果为：
[0021]
(1)本发明提供了一种线缆接口松脱检测方法，基于深度学习技术，利用轻量型神经网络yolo v5s对风机机舱监控摄像头所拍摄到的输电线缆接口进行检测识别，之后通过事先在线缆接口上所做的标识线的位置状态，智能化地判断出线缆接口是否松脱。上述检测方法不仅能够替代人工巡检，并且相比架设传感器等传统方法，更加稳定可靠，以及能够在例如jetson nano等边缘计算平台上部署，因此整体所需的硬件成本较为低廉。
[0022]
(2)本发明检测方法能够同时检测摄像头画面中的多个线缆接口，也即监控范围较大、监控效率较高。
[0023]
(3)本发明检测方法利用opencv图像处理算法，完成对图像中标识线的提取，以此实现完全智能化的线缆接口检查工作。
附图说明
[0024]
图1为本发明线缆接口松脱检测方法流程图；
[0025]
图2为本发明检测方法中在线缆接口处制作标识线示意图；
[0026]
图3为本发明检测方法中对线缆接口区域图像进行标识线像素提取示意图；
[0027]
图4为本发明检测方法两标识线间距超出阀值时的示意图；
[0028]
图5为本发明测试方法两标识线夹角超出阀值时的示意图。
具体实施方式
[0029]
下面详细描述本发明的实施例，所示实施例的示例在附图中示出，其中自始至终相通或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0030]
如图1所示的本发明线缆接口松脱检测方法流程：首先选择合适的神经网络模型，并制作相应的线缆接口图像数据集对网络模型加以训练；之后利用训练好的网络模型识别监控图像中的线缆接口，而对于接口两端的线缆接头部位都事先做上了红色标识线，从而针对图像中检测到的线缆接口区域，再进一步提取上述标识线，最终通过标识线的状态判断线缆接口是否松脱。具体方法如下：
[0031]
如图2所示，在相互对接的两端线缆接头上分别做上标识线，且标识线要与线缆平行，两标识线的颜色、尺寸等样式完全相同，并且需要保证：当两端线缆对接到位后，公母两端接头上的标识线需要位于同一直线上，并且，两标识线之间要有肉眼可分的间隔，具体间距大小可根据实际情况而定。此外，标识线的颜色需要与线缆以及周围一定范围内的物体颜色有所区分，本实施例中标识线选为红色。
[0032]
本实施例中具体采用yolo v5s网络模型。在制作相应训练用的数据集时，利用原本机舱内的相机或探头，采集多张不同拍摄角度下的线缆接口照片。拍摄距离控制在50cm～60cm，共采集300张图片。
[0033]
使用labelimg标注工具对采集到的图片进行标注，并按照voc格式制作相关数据集。
[0034]
使用数据集训练yolo v5s网络模型时，相关参数设置如下：初始学习率为0.001，最大迭代次数(数据集训练次数)为2000，批处理量为64，输入图片大小为416*416。以此完成对神经网络模型的训练。
[0035]
在检测时，拍摄获取带有标识线一侧的线缆接口图像，并基于图像识别技术，利用训练好的yolo v5s神经网络模型，检测识别出图像中线缆接口，其中设定置信度为0.9，从而在检测到置信度为0.9及以上的图像区域后，将会输出识别到的线缆接口图像选框区域。
[0036]
如图3所示，利用opencv算法函数cv2.cvtcolor对包含标识线在内的线缆接口图像区域进行hsv色域空间变换，也即将图像由rgb(红、绿、蓝)空间变换为hsv(色相、饱和度、明度)空间，之后设定特征颜色阀值，其中阀值上限设为[180,255,255]、阀值下限为[10,43,46]，利用opencv算法函数cv2.inrang将阀值范围外的像素全部涂黑，从而以此方式提取出这一图像区域中的所有红色像素，也即标识线对应的颜色像素；而后对图像做闭运算处理，包括膨胀处理和腐蚀处理，首先通过膨胀处理填充红色标识线区域内细小黑色空洞，以此连接临近的红色像素，再利用腐蚀处理修整红色像素区域边缘，从而使红色像素区域的边界平滑。
[0037]
针对以上提取到的红色像素区域，求其最小外接矩形。具体为利用opencv算法函数findcontours计算所有红色像素的轮廓，并对找到的所有轮廓排序，按照面积从大到小；之后通过opencv算法函数cv2.minarearect求取红色像素区域轮廓的最小外接矩形。所求矩形表征了标识线的形状、大小和位置，因而相当于标识线轮廓。
[0038]
最后通过图像中标识线的状态，判断线缆接口是否存在松脱。具体判定条件如下：
[0039]
1)当提取到的标识线轮廓数≤1时，或提取到2个轮廓，但其中较小的1个轮廓范围小于设定的阀值，具体阀值与所做标识线的大小尺寸有关，本实施例中设定为200像素；在满足上述情况时则判定线缆接口松脱；
[0040]
2)如图4所示，当图像中所提取出的标识线轮廓数为2时，判断两标识线轮廓的间距是否在设定的阀值范围内，例如本实施例中设定阀值为60像素，则如果超出阀值60像素即判定为线缆接口松脱；
[0041]
3)如图5所示，当图像中所提取出的标识线条数为2条时，判断两标识线之间的夹角是否超过设定的阀值，例如本实施例中设定阀值为30
°
，则如果超出阀值30
°
即判定为线缆接口松脱。
[0042]
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖
直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0043]
本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变形均属于本发明的保护范围。

技术特征：
1.一种基于深度学习的线缆接口松脱检测方法，其特征在于：检测前，在接口两端的线缆接头上做上标识线；检测时，拍摄获取带有标识线一侧的线缆接口图像，利用神经网络模型，检测识别出图像中的线缆接口，并输出相应线缆接口图像选框区域，之后提取线缆接口图像区域中的标识线，并根据提取出的标识线状态，判断线缆接口是否松脱。2.根据权利要求1所述的基于深度学习的线缆接口松脱检测方法，其特征在于：两端线缆接头上的标识线样式相同，两端线缆接头对接后，两标识线位于同一直线上，两标识线之间留有间隔。3.根据权利要求2所述的基于深度学习的线缆接口松脱检测方法，其特征在于：所述标识线为红色。4.根据权利要求1所述的基于深度学习的线缆接口松脱检测方法，其特征在于：所述神经网络模型为yolo v5s。5.根据权利要求4所述的基于深度学习的线缆接口松脱检测方法，其特征在于：利用yolo v5s检测线缆接口时，置信度设为0.9。6.根据权利要求3所述的基于深度学习的线缆接口松脱检测方法，其特征在于：在提取线缆接口图像区域中的标识线步骤中，首先对图像进行hsv色域空间变换，之后设定特征颜色阀值，将阀值范围外的像素涂黑，以此提取出标识线的颜色像素；最后通过求解最小外接矩形得到标识线的轮廓。7.根据权利要求6所述的基于深度学习的线缆接口松脱检测方法，其特征在于：所述特征颜色阀值的上限为[180,255,255]、下限为[10,43,46]。8.根据权利要求7所述的基于深度学习的线缆接口松脱检测方法，其特征在于：在求解最小外接矩形前，先对图像做闭运算处理。9.根据权利要求6～8任一项所述的基于深度学习的线缆接口松脱检测方法，其特征在于：利用opencv图像处理算法完成对标识线轮廓的提取。10.根据权利要求6所述的基于深度学习的线缆接口松脱检测方法，其特征在于：线缆接口松脱的判断标准为：当提取到的标识线轮廓数量≤1时，或者提取到2个轮廓，但2个轮廓中较小的1个轮廓范围小于设定的阀值时，判定线缆接口松脱；当提取到的标识线轮廓数为2时，判断两标识线轮廓的间距是否在设定的阀值范围内，如果超出阀值则判定线缆接口松脱；当提取到的标识线轮廓数为2时，判断两标识线轮廓之间的夹角是否超过设定的阀值，如果超出阀值则判定线缆接口松脱。

技术总结
本发明提供了一种基于深度学习的线缆接口松脱检测方法，检测前，在接口两端的线缆接头上做上标识线；检测时，拍摄获取带有标识线一侧的线缆接口图像，利用神经网络模型，检测识别出图像中的线缆接口并输出相应线缆接口图像选框区域，之后提取线缆接口图像区域中的标识线，并根据提取出的标识线状态，判断线缆接口是否松脱。上述检测方法不仅能够替代人工巡检，并且相比架设传感器等传统方法，更加稳定可靠，以及能够在例如jetson nano等边缘计算平台上部署，因此整体所需的硬件成本较为低廉。廉。廉。


技术研发人员：陈瑞 李飞 张嘉超 焦良葆 路绳方
受保护的技术使用者：南京工程学院
技术研发日：2021.12.01
技术公布日：2022/3/8