基于环境状态的机器人巡查规划系统及方法与流程

1.本发明涉及巡检技术领域，具体涉及基于环境状态的机器人巡查系统及方法。


背景技术：

2.在工业生产、机房运维、安防民生等领域需要进行巡视检查工作，主要是为了检查重要设备运行状况，是否存在异常，并及时上报后采取针对性措施。
3.传统的巡查方式是人工进行巡查，即由工作人员带着相应工具定期对设备进行巡视检查，但是人工巡检会存在劳动强度大、安全性低、工作效率低下等确定，尤其在遇到恶劣天气或者比较复杂的地形，人工巡检的弊端更是明显。
4.随着科技的发展与进步，智能机器人的应用越来越广泛，在很多领域机器人的巡查方式已经取代了人工巡查的方式。目前的机器人的巡查方式主要为机器人沿着固定路径对设备进行逐一取样，工作人员根据传回的图像等信息判断设备是否异常。上述方式虽然能取代人工巡查的方式，但还是存在以下缺点：1、机器人沿着固定路径逐一检查，对于易出现问题的设备不能及时检查到，检查效率低，可能延误处理问题的最佳时间；2、对于设备运行的状态还是需要人工识别，占用不少人力资源，识别准确率也依赖工作人员经验；3、工作人员仅根据机器人传回的采集信息进行识别对比，某些信息的判断准确率不如现场直接对比，且分析识别的实时性无法保证，从而造成设备的问题无法及时发现。


技术实现要素：

5.本发明意在提供基于环境状态的机器人巡查规划系统，通过基于环境状态分析是否有设备可能处于非正常状态，并标记该巡查地点，规划巡查路线，能够优先对可能出现问题的设备专项规划巡查路线，提高了巡查效率和针对性。
6.本发明提供的技术方案为：基于环境状态的机器人巡查规划系统，包括：数据录入模块、环境采集模块、分析识别模块、地点标记模块、巡查规划模块；所述数据录入模块用于录入并储存巡查对比信息；所述环境采集模块用于采集环境状态信息；所述分析识别模块用于根据采集的环境状态信息，结合巡查对比信息，判断设备是否正常；所述地点标记模块用于对判断非正常的设备标记巡查地点；所述巡查规划模块用于根据巡查地点规划机器人的巡查路线。
7.本发明的工作原理及优点在于：数据录入模块储存有供分析识别模块对比的信息，环境采集模块采集环境状态信息后，分析识别模块根据采集的环境状态信息，结合巡查对比信息，能够判断设备是否处于非正常的运行状态。设备长时间处于非正常的运行状态可能导致损坏等事故，在判断设备处于非正常运行状态后，地点标记模块对该设备的位置标记为巡查地点。巡查规划模块根据标记的一个或多个巡查地点，规划机器人的巡查路线。通过对可能出现问题的设备专项规划巡查路线，相比于巡查机器人目前的固定路径逐一巡查的方式，本发明的方案能够优先对当前环境下易出现问题的设备进行检查，能够更好地掌握处理问题的时机，相比于目前的巡查方式提高了巡查效率，也更节约能源。
8.进一步，所述环境采集模块包括温度采集单元、湿度采集单元和图像采集单元，所述温度采集单元用于采集机器人周围的温度信息，所述湿度采集单元用于采集机器人周围的湿度信息，所述图像采集单元用于采集机器人周围的图像信息。
9.在设备运行中所处的环境状态下，影响设备运行的因素主要包括温度和湿度信息，高温、低温、潮湿环境都可能影响设备的正常运行，因此需要对检测到处于上述恶劣环境下的设备进行重点检查。图像采集单元则主要采集设备的图像信息，以供进一步的分析。
10.进一步，所述巡查对比信息包括设备的参数信息，所述分析识别模块包括环境分析单元，所述环境分析单元用于根据采集的环境状态信息结合设备的参数信息，判断设备的环境状态是否正常。
11.提前录入所有设备的参数，包括设备运行时的适宜温度、湿度等信息，然后系统实时采集周围的环境状态信息，并与设备要求的环境参数进行对比，从而判断设备的环境状态是否正常。通过周围环境信息先一步分析，能够在远离设备的时候也能大致判断哪些设备在当前环境下出现问题的可能性较高，从而进行合理的路线规划。
12.进一步，所述巡查对比信息还包括设备的标准图像信息，所述机器人周围的图像信息包括设备的实时图像信息，所述分析识别模块还包括外观分析单元，所述外观分析单元用于将设备的实时图像信息与设备的标准图像信息进行对比，判断设备的外观是否正常。
13.设备的标准图像信息可以是人工录入设备的标准图像，也可以是机器人在以往巡查过程中，系统采集的设备的标准图像。根据环境状态信息的分析，到达巡查地点后，分析识别模块将采集的设备的实时图像信息与设备的标准图像信息进行分析对比，判断设备的外观上是否存在问题。对处于非正常环境状态的设备进行外观上的分析，通过摄像头图像采集和智能识别算法，替代了人工观察的过程，识别效率和准确率相比人工识别都有所提高，并且能保证分析识别的实时性。
14.进一步，所述外观分析单元包括缺损分析子单元、结构分析单元和锈蚀分析子单元，所述缺损分析子单元用于将设备的实时图像信息与设备的标准图像信息进行对比，判断设备外观是否有缺损；所述结构分析子单元用于将设备的实时图像信息与设备的标准图像信息进行对比，判断设备结构是否有异常；所述锈蚀分析子单元用于将设备的实时图像信息与设备的标准图像信息进行对比，判断设备外观是否有锈蚀。
15.通过对设备外观的分析识别，能够发现很多方面的问题，诸如设备外壳是否完整，结构位置是否正常，外壳是否有锈蚀，通过以上问题的检测能够尽早发现和处理设备可能存在的问题，以杜绝更大的隐患。
16.进一步，所述环境采集模块还包括声音采集单元，所述声音采集单元用于采集机器人周围的声音信息。
17.本发明系统还提供了对机器人周围的声音采集，用于从声音这个维度来分析设备的运行情况。能够更进一步发现设备运行过程中所存在的问题。
18.进一步，所述巡查对比信息还包括设备正常运行的声音信息，所述机器人周围的声音信息包括设备运行的实时声音信息，所述分析识别模块还包括声音分析单元，所述声音分析单元用于将设备运行的实时声音信息与设备正常运行的声音信息对比，判断设备的运行声音是否正常。
19.系统对以往巡查过程中设备正常运行时发出的声音进行收集，再将设备运行的实时声音与识别正常运行的声音对比，通过声音的差别能够判断设备的运行是否存在问题，相比于外观上的识别，对声音的判断能够发现设备内部看不到的问题。并且由于声音传播的方向性，因此对声音的判断基本只能在现场对实时收听和识别，难以做到上传到用户端进行人工实时识别，这是传统机器人巡查方式所达不到的检测效果。
20.进一步，还包括数据优化模块，所述数据优化模块用于对采集的环境状态信息进行清晰化处理。
21.数据优化模块能够对系统采集的各项环境状态信息进行清晰化处理，有助于进一步提高识别效果，例如对图像信息进行图像增强优化，对声音信息进行降噪优化。
22.本发明还基于环境状态的机器人巡查规划方法，其特征在于：包括：
23.s1：录入巡查规划过程中需要的巡查数据；
24.s2：采集环境状态信息；
25.s3：根据采集的环境状态信息，结合巡查对比信息，判断设备是否正常；
26.s4：对判断非正常的设备标记巡查地点；
27.s5：根据巡查地点规划机器人的巡查路线。
28.进一步，所述s1中巡查数据包括设备的参数信息、设备的标准图片信息和设备正常运行的声音信息；
29.所述s2和s3中采集的环境状态信息包括温度信息和湿度信息，所述s3中巡查对比信息为设备的参数信息；
30.还包括：
31.s6：到达巡查地点后，采集设备的实时图像信息，采集设备运行的实时声音信息；
32.s7：对采集的设备的实时图像信息和设备运行的实时声音信息进行清晰化处理；
33.s8：将设备的实时图像信息与设备的标准图像信息进行对比，判断设备的外观是否正常；
34.s9：将设备运行的实时声音信息与设备正常运行的声音信息对比，判断设备的运行声音是否正常；
35.s10：将对比和判断结果进行汇总，发送至用户终端。
附图说明
36.图1为本发明基于环境状态的机器人巡查规划系统实施例一的模块框图；
37.图2为本发明基于环境状态的机器人巡查规划方法实施例一的逻辑框图。
具体实施方式
38.实施例一：
39.如图1所示，本实施例公开了基于环境状态的机器人巡查规划系统，包括数据录入模块、环境采集模块、数据优化模块、分析识别模块、地点标记模块和巡查规划模块。
40.数据录入模块用于录入和储存巡查对比信息，本实施例中巡查对比信息录入的方式可由人工直接导入数据录入模块，通常为各个设备的参数信息，主要包括设备的使用说明书上，设备运行的适宜工作环境参数。或由环境采集模块采集的信息经过数据优化模块
清晰化处理后，再自动导入数据录入模块，通常为各个设备的标准图像信息和各个设备正常运行的声音信息。
41.环境采集模块用于采集环境状态信息，包括温度采集单元、湿度采集单元、图像采集单元和声音采集单元。本实施例中温度采集单元包括安装在机器人上的温度传感器，采集机器人周围的温度信息，并上传至分析识别模块。湿度采集单元包括安装在机器人上的湿度传感器，采集机器人周围的湿度信息，并上传至分析识别模块。图像采集单元包括安装在机器人上的摄像头，采集机器人周围的图像信息，并上传至分析识别模块。声音采集单元包括安装在机器人上的阵列式麦克风，采集机器人周围的声音信息，并上传至分析识别模块。
42.数据优化模块用于对采集的环境状态信息进行清晰化处理，包括图像优化单元和声音优化单元。
43.图像优化单元将采集的图像信息进行清晰化处理，针对现场环境光闪烁导致采集的图像不清晰的问题，对图像逐帧分析，选取色差最小的几张图像，通过图像多帧融合算法，生成环境光稳定的图像，再增强图像对比度，增强色彩；针对现场水雾较重导致采集的图像模糊的问题，对图像逐帧分析，通过多张融合的算法，生成去水雾效果的图像，再增强图像对比度，增强色彩。
44.声音优化单元将采集的声音信息进行清晰化处理，阵列麦克风将采集到的声音信息按方向性处理声音信号，使不同角度到达的声音信号得到不同的放大，放大设备运行的声音，过滤掉杂音，从而达到增强有用的信号，相对减弱背景噪音的效果。数据优化模块将优化处理后的图像信息和声音信息上传至数据录入模块储存或直接上传至分析识别模块进一步分析。
45.分析识别模块用于根据采集的环境状态信息，结合巡查对比信息，判断设备是否正常，包括环境分析单元、外观分析单元和声音分析单元。
46.环境分析单元用于根据采集的环境状态信息结合设备的参数信息，判断设备的环境状态是否正常，将采集的温度和湿度信息与录入的各个设备的参数信息进行对比，能够迅速识别出哪些设备目前处于非正常的环境状态下运行。
47.外观分析单元包括缺损分析子单元、结构分析子单元和锈蚀分析子单元，缺损分析子单元用于将当前采集的设备的实时图像信息与以往储存的设备的标准图像信息进行对比，判断设备的外观上是否完整有缺损；结构分析子单元用于将当前采集的设备的实时图像信息与以往储存的设备的标准图像信息进行对比，判断设备的结构上是否有异常，包括设备关键部件的安装位置以及设备某些开关结构的开合状态等。锈蚀分析子单元用于将当前采集的设备的实时图像信息与以往储存的设备的标准图像信息进行对比，通过颜色识别等算法，判断设备的外观上是否有锈蚀以及锈蚀的情况。
48.声音分析单元用于将当前采集的设备运行的实时声音信息与以往储存的设备正常运行的声音信息进行对比，分析两者的相似度和波动率，判断当前状态下设备的运行声音是否正常。
49.地点标记模块用于对判断非正常的设备标记巡查地点。分析识别模块的环境分析单元初步识别出哪些设备目前处于非正常的环境状态下运行后，地点标记模块在地图上标记出以上各个设备的位置为巡查地点，将各个巡查地点的位置信息上传至巡查规划模块。
50.巡查规划模块用于根据巡查地点规划机器人的巡查路线。根据各个巡查地点，巡查规划模块规划出一条能够对以上巡查地点的设备进行依次检查的路线。路线规划的过程中结合设备检查的缓急程度、经过各个设备的最短距离等因素制定最优巡查路线。
51.本实施例中还公开了与上述基于环境状态的机器人巡查规划系统配套的方法，逻辑流程如图2所示，该方法包括以下步骤(本方案中对各步骤的编号仅做步骤区分作用，不限制各步骤的具体执行顺序，且各步骤还可同时进行)：
52.s1：录入巡查规划过程中需要的巡查数据，包括人工录入的各个设备的参数信息，系统以往采集并清晰化处理的各个设备的标准图片信息和各个设备正常运行的声音信息。
53.s2：采集环境状态信息，包括当前环境下的温度信息和湿度信息。
54.s3：根据采集的环境状态信息，结合巡查对比信息，判断设备是否正常。将采集的温度和湿度信息，与录入的各个设备的参数信息进行对比，对当前的温度或者湿度没有在设备适宜温度或者湿度范围内的设备判断为非正常。按照当前温度或湿度与适宜范围的偏差值从大到小，依次对非正常设备进行排序，例如温度偏差值最大的为设备1，其次为设备2，依次排序。
55.s4：对判断非正常的设备标记巡查地点。对判断为非正常的各个设备在地图上的位置分别进行标记，作为巡查地点。根据非正常设备的排序结果，对应的巡查地点也进行依次排序，为巡查地点1、巡查地点2等。
56.s5：根据巡查地点规划机器人的巡查路线。根据巡查地点的排序结果，从巡查地点1开始安装巡查地点的排序依次规划巡查路线，一直到最后一个巡查地点，每个巡查地点之间的路径为行进距离最短路径。按照规划的路径依次对各个设备进行检查。
57.s6：到达巡查地点后，采集设备的实时图像信息，采集设备运行的实时声音信息。到达相应的巡查地点后，采集当前巡查地点的设备的实时图像信息和实时声音信息。
58.s7：对采集的设备的实时图像信息和设备运行的实时声音信息进行清晰化处理。针对现场环境光闪烁导致采集的图像不清晰的问题，对图像逐帧分析，选取色差最小的几张图像，通过融合算法，生成环境光稳定的图像，再增强图像对比度，增强色彩；针对现场水雾较重导致采集的图像模糊的问题，对图像逐帧分析，通过多张融合的算法，生成去水雾效果的图像，再增强图像对比度，增强色彩，得到清晰化处理后的图像。放大设备运行的声音，过滤掉杂音，从而达到增强有用的信号，相对减弱背景噪音的效果，得到清晰化处理后的声音。
59.s8：将设备的实时图像信息与设备的标准图像信息进行对比，判断设备的外观是否正常。将当前采集的设备的实时图像信息与以往储存的设备的标准图像信息进行对比，判断设备的外观上是否完整有缺损，具体为设备外壳是否有缺损以及缺损情况；设备的结构上是否有异常，具体为设备关键部件的安装位置是否有偏差以及设备的开关结构是否处于正确位置；设备的外观上是否有锈蚀以及锈蚀的大概面积。
60.s9：将设备运行的实时声音信息与设备正常运行的声音信息对比，判断设备的运行声音是否正常。将当前采集的设备运行的实时声音信息与以往储存的设备正常运行的声音信息进行对比，分析两者的相似度和波动率，判断当前状态下设备的运行声音是否正常，若两者的相似度过低或当前设备运行的实时声音波动率异常偏大，则判断设备的运行声音非正常。
61.s10：将对比和判断结果进行汇总，发送至用户终端。根据路径上的各个巡查地点的设备，安装检查顺序依次将各个设备的温度湿度对比结果，外观的缺损、结构、锈蚀对比结果，声音对比结果进行汇总，发送至用户终端。
62.实施例二：
63.本实施例与实施例一不同之处在于：
64.s1：录入巡查规划过程中需要的巡查数据，包括人工录入的各个设备的参数信息，系统以往采集并清晰化处理的各个设备的标准图片信息和各个设备正常运行的声音信息。
65.s2：采集环境状态信息，包括当前环境下的温度信息和湿度信息。
66.s3：根据采集的环境状态信息，结合巡查对比信息，判断设备是否正常。识别到当前环境状态的温度和湿度均位于所有设备的适宜范围内，则采集机器人周围最近的几个设备的声音信息，将采集的声音信息进行清晰化处理，通过声音来源的方向确定各个设备。将当前采集的设备运行的实时声音信息与以往储存的设备正常运行的声音信息进行对比，分析两者的相似度和波动率，判断当前状态下设备的运行声音是否正常，若两者的相似度过低或当前设备运行的实时声音波动率异常偏大，则判断设备的运行声音非正常。
67.s4：对判断非正常的设备标记巡查地点。对判断为非正常的该设备在地图上的位置进行标记，作为巡查地点。
68.s5：根据巡查地点规划机器人的巡查路线。
69.s6：到达巡查地点后，采集设备的实时图像信息。
70.s7：对采集的设备的实时图像信息进行清晰化处理。
71.s8：将设备的实时图像信息与设备的标准图像信息进行对比，判断设备的外观是否正常。
72.s9：将对比和判断结果进行汇总，发送至用户终端。
73.s10：再次收集机器人所在位置周围最近的其他几个设备的声音信息，进行清晰化处理后，通过声音来源的方向确定各个设备。将当前采集的设备运行的实时声音信息与以往储存的设备正常运行的声音信息进行对比，判断设备的运行声音是否正常。
74.本实施例其余部分与实施例一相同。
75.以上的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本技术得出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本技术的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本技术要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

技术特征：
1.基于环境状态的机器人巡查规划系统，其特征在于，包括：数据录入模块、环境采集模块、分析识别模块、地点标记模块、巡查规划模块；所述数据录入模块用于录入并储存巡查对比信息；所述环境采集模块用于采集环境状态信息；所述分析识别模块用于根据采集的环境状态信息，结合巡查对比信息，判断设备是否正常；所述地点标记模块用于对判断非正常的设备标记巡查地点；所述巡查规划模块用于根据巡查地点规划机器人的巡查路线。2.根据权利要求1所述的基于环境状态的机器人巡查规划系统，其特征在于：所述环境采集模块包括温度采集单元、湿度采集单元和图像采集单元，所述温度采集单元用于采集机器人周围的温度信息，所述湿度采集单元用于采集机器人周围的湿度信息，所述图像采集单元用于采集机器人周围的图像信息。3.根据权利要求2所述的基于环境状态的机器人巡查规划系统，其特征在于：所述巡查对比信息包括设备的参数信息，所述分析识别模块包括环境分析单元，所述环境分析单元用于根据采集的环境状态信息结合设备的参数信息，判断设备的环境状态是否正常。4.根据权利要求3所述的基于环境状态的机器人巡查规划系统，其特征在于：所述巡查对比信息还包括设备的标准图像信息，所述机器人周围的图像信息包括设备的实时图像信息，所述分析识别模块还包括外观分析单元，所述外观分析单元用于将设备的实时图像信息与设备的标准图像信息进行对比，判断设备的外观是否正常。5.根据权利要求4所述的基于环境状态的机器人巡查规划系统，其特征在于：所述外观分析单元包括缺损分析子单元、结构分析单元和锈蚀分析子单元，所述缺损分析子单元用于将设备的实时图像信息与设备的标准图像信息进行对比，判断设备外观是否有缺损；所述结构分析子单元用于将设备的实时图像信息与设备的标准图像信息进行对比，判断设备结构是否有异常；所述锈蚀分析子单元用于将设备的实时图像信息与设备的标准图像信息进行对比，判断设备外观是否有锈蚀。6.根据权利要求2所述的基于环境状态的机器人巡查规划系统，其特征在于：所述环境采集模块还包括声音采集单元，所述声音采集单元用于采集机器人周围的声音信息。7.根据权利要求6所述的基于环境状态的机器人巡查规划系统，其特征在于：所述巡查对比信息还包括设备正常运行的声音信息，所述机器人周围的声音信息包括设备运行的实时声音信息，所述分析识别模块还包括声音分析单元，所述声音分析单元用于将设备运行的实时声音信息与设备正常运行的声音信息对比，判断设备的运行声音是否正常。8.根据权利要求1所述的基于环境状态的机器人巡查规划系统，其特征在于：还包括数据优化模块，所述数据优化模块用于对采集的环境状态信息进行清晰化处理。9.基于环境状态的机器人巡查规划方法，其特征在于：包括：s1：录入巡查规划过程中需要的巡查数据；s2：采集环境状态信息；s3：根据采集的环境状态信息，结合巡查对比信息，判断设备是否正常；s4：对判断非正常的设备标记巡查地点；s5：根据巡查地点规划机器人的巡查路线。10.根据权利要求9所述的基于环境状态的机器人巡查规划方法，其特征在于：所述s1中巡查数据包括设备的参数信息、设备的标准图片信息和设备正常运行的声音信息；
所述s2和s3中采集的环境状态信息包括温度信息和湿度信息，所述s3中巡查对比信息为设备的参数信息；还包括：s6：到达巡查地点后，采集设备的实时图像信息，采集设备运行的实时声音信息；s7：对采集的设备的实时图像信息和设备运行的实时声音信息进行清晰化处理；s8：将设备的实时图像信息与设备的标准图像信息进行对比，判断设备的外观是否正常；s9：将设备运行的实时声音信息与设备正常运行的声音信息对比，判断设备的运行声音是否正常；s10：将对比和判断结果进行汇总，发送至用户终端。

技术总结
本发明涉及巡检技术领域，公开了基于环境状态的机器人巡查系统及方法，该系统包括：数据录入模块、环境采集模块、分析识别模块、地点标记模块、巡查规划模块；所述数据录入模块用于录入并储存巡查对比信息；所述环境采集模块用于采集环境状态信息；所述分析识别模块用于根据采集的环境状态信息，结合巡查对比信息，判断设备是否正常；所述地点标记模块用于对判断非正常的设备标记巡查地点；所述巡查规划模块用于根据巡查地点规划机器人的巡查路线。本发明提供的基于环境状态的机器人巡查系统及方法，能够优先对可能出现问题的设备专项规划巡查路线，提高了巡查效率和针对性。提高了巡查效率和针对性。提高了巡查效率和针对性。


技术研发人员：段勃 杨东鑫 李浩澜 谭光明 幸禹可 何杰
受保护的技术使用者：中科计算技术西部研究院
技术研发日：2021.12.09
技术公布日：2022/3/8