一种基于主动感知的机器人堵漏方法及系统

1.本发明涉及管道修补设备技术领域，特别是涉及一种基于主动感知的机器人堵漏方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.采用机器人完成管道堵漏任务的过程，可以分为管道泄露点位姿估计阶段与堵漏操作阶段；在管道泄露点位姿估计阶段，机器人根据采集的环境信息计算管道泄露点的6d位姿；在堵漏操作阶段，机器人根据前一阶段计算出的管道泄漏点的6d位姿，结合堵漏工艺要求进行管道堵漏。
4.然而，在现实情况下，泄漏点形状各异，导致任意视角下管道泄漏点的6d位姿估计任务极具困难，对机器人在堵漏任务中的应用造成极大的约束。再者在复杂场景中定位泄露管道时，存在复杂背景的干扰，影响定位精度。


技术实现要素：

5.为了解决上述问题，本发明提出了一种基于主动感知的机器人堵漏方法及系统，将堵漏任务划分为主动感知、泄漏点6d位姿估计和管道堵漏操作三个阶段，并引入主动感知网络，使机器人具有主动适应堵漏场景的能力，在进行管道泄漏点位姿估计前，采用训练后的主动感知网络得到运动指令，以控制机器人的机械臂末端相机移动至泄漏点正上方，避免任意视角下对形状各异的管道泄漏点直接进行位姿估计。
6.为了实现上述目的，本发明采用如下技术方案：
7.第一方面，本发明提供一种基于主动感知的机器人堵漏方法，包括：
8.根据管道环境状态信息得到泄露管道的彩色点云，对泄露管道的彩色点云进行评价，得到当前管道环境状态的奖励值；根据泄露管道的彩色点云和当前管道环境状态的奖励值对预先构建的主动感知网络进行训练；
9.根据训练后的主动感知网络得到运动指令，以通过运动指令控制机器人的机械臂末端相机移动至泄漏点正上方，测得泄漏点的位姿信息，从而根据泄漏点与机器人的相对位姿关系控制机器人进行堵漏操作。
10.作为可选择的实施方式，根据管道环境状态信息得到泄露管道的彩色点云的过程包括：
11.对管道环境状态信息进行转换得到场景点云；
12.提取场景点云中的圆柱面，得到场景点云中的管道；
13.提取场景点云中的泄漏点，对每个泄漏点计算置信度；
14.取置信度最高且位于管道上的泄漏点为待封堵泄漏点，待封堵泄漏点所在管道为泄露管道，以提取泄露管道的彩色点云。
15.作为可选择的实施方式，对泄露管道的彩色点云进行评价的过程包括：
16.获取当前环境管道状态与目标状态的接近程度；
17.预设接近程度阈值，根据接近程度和接近程度阈值得到当前管道环境状态的奖励值。
18.作为可选择的实施方式，所述接近程度为：
19.其中，p为接近程度，x0和y0分别为相机坐标系x1轴和相机坐标系y1轴方向的最大像素偏差，δx为泄漏点中心在相机坐标系x1轴方向的像素距离绝对值，δy为泄漏点中心在相机坐标系y1轴方向的像素距离绝对值，θ2为过泄漏点中心的管道轴线l与相机坐标系x1o1z1平面的夹角，θ1为过l的管道轴截面l与相机坐标系z1轴的夹角，相机坐标系为以设于机械臂末端的相机为准的坐标系。
20.作为可选择的实施方式，所述当前管道环境状态的奖励值为：
21.其中，r为奖励值，a和b为奖励参数与惩罚参数，c为接近程度阈值。
22.作为可选择的实施方式，所述机器人包括基座、机械臂、相机和堵漏工具，机械臂设于基座上，相机与堵漏工具设于机械臂的末端；根据泄漏点与机器人的相对位姿关系控制机器人进行堵漏操作的过程包括：
23.机器人的机械臂末端相机移动至泄漏点正上方后，得到泄漏点相对于相机的位姿关系；根据泄漏点相对于相机的位姿关系、堵漏工具相对于基座的位姿关系、相机相对于堵漏工具的位姿关系，得到泄漏点相对于基座的位姿关系，从而控制机器人进行堵漏操作。
24.作为可选择的实施方式，机器人的机械臂末端相机移动至泄漏点正上方后，泄漏点中心在相机坐标系z1轴的正上方，且管道轴线与相机坐标系x1轴平行，则泄漏点相对于相机的位姿关系为：
25.泄漏点相对于基座的位姿关系为：
26.其中，z0为泄漏点距相机坐标系原点的距离，为堵漏工具相对于基座的位姿关系，为相机相对于堵漏工具的位姿关系，为泄漏点相对于相机的位姿关系，为泄漏点相对于基座的位姿关系。
27.第二方面，本发明提供一种基于主动感知的机器人堵漏系统，包括：
28.网络训练模块，被配置为根据管道环境状态信息得到泄露管道的彩色点云，对泄露管道的彩色点云进行评价，得到当前管道环境状态的奖励值；根据泄露管道的彩色点云和当前管道环境状态的奖励值对预先构建的主动感知网络进行训练；
29.运动控制模块，被配置为根据训练后的主动感知网络得到运动指令，以通过运动指令控制机器人的机械臂末端相机移动至泄漏点正上方，测得泄漏点的位姿信息，从而根据泄漏点与机器人的相对位姿关系控制机器人进行堵漏操作。
30.第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
31.第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
32.与现有技术相比，本发明的有益效果为：
33.本发明提出一种基于主动感知的机器人堵漏方法，通过引入主动感知网络，使得机器人具有主动适应堵漏场景的能力，在进行管道泄漏点位姿估计前，机器人主动运动到泄漏点位姿简单可测的状态，即采用训练后的主动感知网络得到运动指令，以控制机器人的机械臂末端相机移动至泄漏点正上方，避免任意视角下对形状各异的管道泄漏点直接进行位姿估计。
34.本发明提出的主动感知网络利用深度强化学习算法的强大搜索能力，将管道泄漏点的位姿估计问题转化为机械臂末端相机状态的搜索问题，结合管道的空间特征与泄漏点的局部特征，将目标状态用四个方向的偏差值来表示评价，通过不断最小化偏差即可控制机器人运动到目标状态，避免了针对复杂的泄漏点设计大量的人工特征。
35.本发明将2d视觉与3d视觉结合使用，即使在复杂场背景中也有效定位泄露管道，并单独以泄露管道的点云信息作为深度策略网络的输入，消除了复杂背景的干扰，可应用于多种场景。
36.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
37.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
38.图1(a)-1(d)为本发明实施例1提供的管道泄漏点示意图；
39.图2为本发明实施例1提供的机器人结构示意图；
40.图3为本发明实施例1提供的主动感知网络结构示意图；
41.图4为本发明实施例1提供的主动感知网络训练过程示意图；
42.图5为本发明实施例1提供的状态s0的定义示意图；
43.图6为本发明实施例1提供的环境状态信息处理流程示意图；
44.图7为本发明实施例1提供的状态评价示意图。
具体实施方式：
45.下面结合附图与实施例对本发明做进一步说明。
46.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
47.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式
也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
48.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
49.实施例1
50.如图1(a)-1(d)所示为管道泄漏点，由于管道泄露点形状各异，导致任意视角下管道泄漏点的6d位姿估计任务极具困难，所以，本实施例提供一种基于主动感知的机器人堵漏方法，将堵漏任务划分为主动感知、泄漏点6d位姿估计和管道堵漏操作三个阶段。包括：
51.基于深度强化学习算法构建机器人的主动感知网络apn(activate perception net)，并对其进行训练；
52.在训练后的主动感知网络apn的驱动下，控制机器人的机械臂末端相机移动至泄漏点正上方；即通过利用管道的空间几何特征及泄漏点局部特征，实现机器人自主运动到管道泄漏点位姿简单可测的状态，在该状态下可以快速地实现管道泄漏点的位姿估计；
53.从而根据管道泄漏点的与机器人的相对位姿关系与堵漏工艺要求，控制机器人利用正逆运动学规律实现堵漏作业。
54.在本实施例中，进行堵漏作用的机器人包括基座、机械臂、深度相机、堵漏工具和计算机，如图2所示，机械臂固定于基座上，深度相机与堵漏工具固定在机械臂的末端，深度相机与堵漏工具的相对坐标关系确定；
55.设，堵漏工具相对于基座的坐标关系为深度相机相对于堵漏工具的坐标关系为泄漏点相对于深度相机的坐标关系为泄漏点相对于基座的坐标坐标关系为其中都为已知量，和待测量，通过和得到，如式(1)所示：
[0056][0057]
那么，只需要确定泄漏点相对于基座的坐标关系利用机器人正逆运动学规律，就可以控制机械臂末端的堵漏工具完成堵漏操作。
[0058]
在本实施例中，基于深度强化学习算法构建的主动感知网络apn的结构如图3所示，以点云处理网络pointnet++为基本框架，以泄露管道的点云信息为输入，通过pointnet++提取状态特征f输入全连接层后，以机器人动作a为输出，控制堵漏机器人运动。
[0059]
在本实施例中，所述主动感知网络apn的训练过程如图4所示，具体包括：
[0060]
获取环境状态的rgb信息i
rgb
与深度信息id，对环境状态进行预处理后得到泄露管道的彩色点云p
xyzrgb
；
[0061]
对泄露管道的彩色点云p
xyzrgb
进行评价，得到当前环境状态的奖励值r；
[0062]
根据泄露管道的彩色点云p
xyzrgb
和当前环境状态的奖励值r将对主动感知网络apn进行训练，得到动作a以控制机器人机械臂的运动。
[0063]
通过主动感知网络apn输出的动作，可控制机器人的机械臂末端相机从随机状态s，快速运动至管道泄漏点正上方的状态s0，状态s0的定义如图5所示,在状态s0下，管道泄漏点的中心在相机坐标系z1轴的正上方，且管道轴线与相机坐标x1轴平行，且d1＝d2。该过程需在多种泄露场景下进行循环训练，直至主动感知网络apn根据当前环境状态得到的动作，
可以快速有效地控制机械臂末端的相机运动至管道泄漏点正上方。
[0064]
在本实施例中，对环境状态进行预处理后得到泄露管道的彩色点云p
xyzrgb
的流程如图6所示，具体包括：
[0065]
对环境状态的rgb信息i
rgb
和深度信息id进行高斯去噪，得到滤波后的rgb信息i
blur_rgb
和深度信息i
blur_d
；
[0066]
对滤波后的深度信息i
blur_d
进行转换，得到场景点云i
xyz
；
[0067]
利用基于形状的点云分割算法，提取场景点云i
xyz
中的圆柱面，即管道，滤除其他背景，得到场景点云i
xyz
中的m条管道，构建管道集合
[0068]
利用yolov5算法实现泄漏点检测，提取场景点云i
xyz
中n个可能的泄漏点(存在误判现象)，以集合表示，同时得到每个泄漏点为真实泄漏点的置信度集合
[0069]
取中置信度最高，且位于集合中管道上的泄漏点为最终待封堵的泄漏点，并将该管道视为泄露管道，提取该管道的彩色点云信息，得到泄露管道的彩色点云p
xyzrgb
。
[0070]
在本实施例中，对泄露管道的彩色点云p
xyzrgb
进行评价的流程如图7所示，具体包括：
[0071]
现实情况下管道一般水平安装，在位姿调整阶段，限制机器人在ry1方向的偏转角为0，此外状态s0下，泄漏点在z1上任意一点都满足目标状态，为了减小搜索空间，在位姿调整阶段，限制机器人在z1方向上的位移为0。因此只需从x1、y1、rz1和rx1四个方向即可完整地对状态进行评价；
[0072]
设，δx表示泄漏点中心(由泄漏点检测时得出)在相机坐标系x1轴方向的像素距离绝对值，δy表示泄漏点中心在相机坐标系y1轴方向的像素距离绝对值，θ1表示过l的管道轴截面l与相机坐标系z1轴的夹角，θ2表示过泄漏点中心的管道轴线l与相机坐标系x1o1z1平面的夹角；则通过将δx，δy，θ1和θ2带入公式(2)，得到当前状态与目标状态的接近程度p，p值越接近1，表示当前状态越接近目标状态；
[0073][0074]
其中，x0和y0分别表示x1和y1方向最大的像素偏差，分别为图像宽w和高h的一半：
[0075][0076][0077]
当前环境状态的奖励值r为：
[0078][0079]
其中，a和b为奖励与惩罚参数，可任意调节，且满足a》0和b《0，c表示接近程度的阈值，当p≥c时，奖励值为pa，当p《c时，惩罚值为b。
[0080]
在本实施例中，所述主动感知网络apn，以机器人当前状态s为输入，以动作a为输出，如式(6)所示：
[0081]
a＝apn(s)
ꢀꢀ
(6)
[0082]
通过主动感知网络apn输出的动作，控制机器人末端的深度相机从随机状态s，快速运动至管道泄漏点正上方的状态s0，在状态s0下，管道泄漏点的中心在相机坐标系z1轴的正上方，且管道轴线与相机坐标x1轴平行，那么通过齐次矩阵表示管道泄漏点在相机坐标系下的6d位姿如式(7)所示：
[0083][0084]
通过深度相机获得泄漏点距相机坐标系原点的距离z0，通过式(1)得到管道泄漏点在基座坐标系下的位姿那么即可控制机器人完成堵漏操作。
[0085]
在本实施例中，引入主动感知网络apn的堵漏机器人的堵漏作业流程包括：
[0086]
(1)在状态调整阶段，利用训练后的主动感知网络apn将机器人末端的相机调整至s0状态；
[0087]
(2)在位姿估计阶段，根据式(7)测得s0状态下，管道泄漏点在相机坐标系下的6d位姿并利用堵漏机器人基座、相机、末端工具之间的坐标关系，按式(1)计算出管道泄漏点在基座下的6d位姿
[0088]
(3)在堵漏阶段，根据估计出的管道泄漏点6d位姿结合堵漏工艺要求，利用机器人正逆运动学规律，引导机器人完成堵漏操作。
[0089]
实施例2
[0090]
本实施例提供一种基于主动感知的机器人堵漏系统，包括：
[0091]
网络训练模块，被配置为根据管道环境状态信息得到泄露管道的彩色点云，对泄露管道的彩色点云进行评价，得到当前管道环境状态的奖励值；根据泄露管道的彩色点云和当前管道环境状态的奖励值对预先构建的主动感知网络进行训练；
[0092]
运动控制模块，被配置为根据训练后的主动感知网络得到运动指令，以通过运动指令控制机器人的机械臂末端相机移动至泄漏点正上方，从而根据泄漏点与机器人的相对位姿关系控制机器人进行堵漏操作。
[0093]
此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0094]
在更多实施例中，还提供：
[0095]
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
[0096]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者
该处理器也可以是任何常规的处理器等。
[0097]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0098]
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
[0099]
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0100]
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0101]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

技术特征：
1.一种基于主动感知的机器人堵漏方法，其特征在于，包括：根据管道环境状态信息得到泄露管道的彩色点云，对泄露管道的彩色点云进行评价，得到当前管道环境状态的奖励值；根据泄露管道的彩色点云和当前管道环境状态的奖励值对预先构建的主动感知网络进行训练；根据训练后的主动感知网络得到运动指令，以通过运动指令控制机器人的机械臂末端相机移动至泄漏点正上方，测得泄漏点的位姿信息，从而根据泄漏点与机器人的相对位姿关系控制机器人进行堵漏操作。2.如权利要求1所述的一种基于主动感知的机器人堵漏方法，其特征在于，根据管道环境状态信息得到泄露管道的彩色点云的过程包括：对管道环境状态信息进行转换得到场景点云；提取场景点云中的圆柱面，得到场景点云中的管道；提取场景点云中的泄漏点，对每个泄漏点计算置信度；取置信度最高且位于管道上的泄漏点为待封堵泄漏点，待封堵泄漏点所在管道为泄露管道，以提取泄露管道的彩色点云。3.如权利要求1所述的一种基于主动感知的机器人堵漏方法，其特征在于，对泄露管道的彩色点云进行评价的过程包括：获取当前环境管道状态与目标状态的接近程度；预设接近程度阈值，根据接近程度和接近程度阈值得到当前管道环境状态的奖励值。4.如权利要求3所述的一种基于主动感知的机器人堵漏方法，其特征在于，所述接近程度为：其中，p为接近程度，x0和y0分别为相机坐标系x1轴和相机坐标系y1轴方向的最大像素偏差，δx为泄漏点中心在相机坐标系x1轴方向的像素距离绝对值，δy为泄漏点中心在相机坐标系y1轴方向的像素距离绝对值，θ2为过泄漏点中心的管道轴线l与相机坐标系x1o1z1平面的夹角，θ1为过l的管道轴截面l与相机坐标系z1轴的夹角，相机坐标系为以设于机械臂末端的相机为准的坐标系。5.如权利要求3所述的一种基于主动感知的机器人堵漏方法，其特征在于，所述当前管道环境状态的奖励值为：其中，r为奖励值，a和b为奖励参数与惩罚参数，c为接近程度阈值。6.如权利要求1所述的一种基于主动感知的机器人堵漏方法，其特征在于，所述机器人包括基座、机械臂、相机和堵漏工具，机械臂设于基座上，相机与堵漏工具设于机械臂的末端；根据泄漏点与机器人的相对位姿关系控制机器人进行堵漏操作的过程包括：机器人的机械臂末端相机移动至泄漏点正上方后，得到泄漏点相对于相机的位姿关系；根据泄漏点相对于相机的位姿关系、堵漏工具相对于基座的位姿关系、相机相对于堵漏工具的位姿关系，得到泄漏点相对于基座的位姿关系，从而控制机器人进行堵漏操作。7.如权利要求6所述的一种基于主动感知的机器人堵漏方法，其特征在于，机器人的机
械臂末端相机移动至泄漏点正上方后，泄漏点中心在相机坐标系z1轴的正上方，且管道轴线与相机坐标系x1轴平行，则泄漏点相对于相机的位姿关系为：泄漏点相对于基座的位姿关系为：其中，z0为泄漏点距相机坐标系原点的距离，为堵漏工具相对于基座的位姿关系，为相机相对于堵漏工具的位姿关系，为泄漏点相对于相机的位姿关系，为泄漏点相对于基座的位姿关系。8.一种基于主动感知的机器人堵漏系统，其特征在于，包括：网络训练模块，被配置为根据管道环境状态信息得到泄露管道的彩色点云，对泄露管道的彩色点云进行评价，得到当前管道环境状态的奖励值；根据泄露管道的彩色点云和当前管道环境状态的奖励值对预先构建的主动感知网络进行训练；运动控制模块，被配置为根据训练后的主动感知网络得到运动指令，以通过运动指令控制机器人的机械臂末端相机移动至泄漏点正上方，测得泄漏点的位姿信息，从而根据泄漏点与机器人的相对位姿关系控制机器人进行堵漏操作。9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的方法。10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。

技术总结
本发明公开一种基于主动感知的机器人堵漏方法及系统，包括：根据环境状态信息得到泄露管道的彩色点云，对泄露管道的彩色点云进行评价，得到当前环境状态的奖励值；根据泄露管道的彩色点云和当前环境状态的奖励值对主动感知网络进行训练；根据训练后的主动感知网络得到运动指令，以通过运动指令控制机器人的机械臂末端相机移动至泄漏点正上方，从而根据泄漏点与机器人的相对位姿关系控制机器人进行堵漏操作。引入主动感知网络，使机器人具有主动适应堵漏场景的能力，在进行管道泄漏点位姿估计前，控制机器人的机械臂末端相机移动至泄漏点正上方，避免任意视角下对形状各异的管道泄漏点直接进行位姿估计。泄漏点直接进行位姿估计。泄漏点直接进行位姿估计。


技术研发人员：宋锐 毛冬辉 李凤鸣 郑玉坤 刘义祥 李贻斌
受保护的技术使用者：山东大学
技术研发日：2021.12.09
技术公布日：2022/3/8