用于铰接物体的端到端位姿估计方法
本发明属于机器人抓取和操作，具体涉及一种用于铰接物体的端到端位姿估计方法。
背景技术：
1、机器人在进行抓取和操作任务前，准确估计物体的位姿信息至关重要。现有研究已经在单个刚体的位姿估计上取得了显著进展。然而，对于非刚体物体，如具有多个运动部件的关节物体，其位姿信息的估计仍然是一个挑战，因为它们的复杂物理属性。例如，关节物体由多个刚性运动部件组成，使得它们的感知和操控尤为复杂。关节物体中包含铰接物体，对铰接物体的不准确感知可能导致机器人损坏细微的关节，因此，需要提高机器人对铰接物体的感知和估计能力，以增强机器人的操控能力。
2、目前，在感知铰接物体方面仍存在重大挑战，这些挑战包括：1)同类别内铰接物体的变化，新的关节物体往往没有精确的3d cad模型，需要在类别内进行概括。例如，为估计不同桶型的手柄，需要找到可以在各种实例中推广的共享表示。2)跨类别环境的铰接物体的变化，一个类别的关节物体在不同对象类别中的部件环境存在巨大差异。与处理单一、一致形状的类别级刚体姿态方法不同，关节物体具有多个运动部件，导致各种环境的差异。因此，即使是同一实例的部件也可能与其他刚体部件以不同方式组装。例如，铰链盖可以是笔记本电脑或垃圾桶的一部分。这种差异也使得对待识别的目标铰接物体的姿态和大小的估计复杂化。
技术实现思路
1、为解决现有技术中关节物体位姿估计时间成本较大、无法满足机器人实时位姿估计进行抓取的问题，本发明提供一种用于机器人抓取场景下的单阶段、实时的类别级别关节对象6d姿态估计方法，在有着高估计速率的同时具备较高的位姿估计准确度。与其他物体相比，铰接物体由多个部件实例组成，一个铰接物体需要估计出每个部件实例的位姿，传统的位姿估计方法只能将物体作为一个整体估计出整体位姿。本发明的方法通过一个统一的网络模型直接在点云上进行部件类别、质心偏移和npcs表示的同时估计；然后，首先使用估计出来的部件类别标签对点云根据不同的部件类别进行分类，然后基于预测的质心偏移利用聚类算法区分归属于同一部件实例的点，部件类别、质心偏移估计的设计使得本发明方法有效地区分不同部件实例点云；最终，通过与真实点云对齐每个实例的npcs区域来恢复每个部件实例最终的姿态和大小。
2、具体地，本发明采用了如下技术方案：
3、本发明提供了一种用于铰接物体的端到端位姿估计方法，该方法具有这样的技术特征，其包括以下步骤：步骤s1，采用语义分割模型从输入的rgb-d图片中分割出目标铰接物体的rgb-d图像信息，并利用相机内参将所述rgb-d图像信息映射回三维空间从而获取到所述目标铰接物体的三维点云；步骤s2，将所述目标铰接物体的三维点云输入位姿估计模型，从而得到所述目标铰接物体中的铰接部件的位姿估计，所述位姿估计模型包括点云特征提取神经网络模型以及三个预测头，其中，步骤s2包括以下子步骤：步骤s2-1，将所述目标铰接物体的三维点云输入所述点云特征提取神经网络模型，得到对应的特征图；步骤s2-2，将所述特征图分别输入所述预测头，通过所述三个预测头分别预测得到所述目标铰接物体的三维点云中每个点的语义标签、中心偏移、归一化零件坐标空间区域坐标；步骤s2-3，基于所述语义标签、所述中心偏移通过聚类算法得到所述目标铰接物体的每个零部件的三维点云；步骤s2-4，将所述零部件的三维点云与所述归一化零件坐标空间区域坐标进行对齐，从而得到所述零部件的位姿估计，其中包含所述铰接部件的位姿估计。
4、本发明提供的用于铰接物体的端到端位姿估计方法，还可以具有这样的技术特征，其中，所述位姿估计模型为经过预训练的yoeo(you only estimate once)，所述点云特征提取神经网络模型为randla-net，所述预测头为多层感知机。
5、本发明提供的用于铰接物体的端到端位姿估计方法，还可以具有这样的技术特征，其中，步骤s2-3中，基于每个点的语义标签、中心偏移通过meanshift聚类算法得到所述目标铰接物体的每个所述零部件的三维点云，步骤s2-4中，将每个所述零部件的三维点云与所述归一化零件坐标空间区域坐标通过umeyama算法进行对齐。
6、本发明提供的用于铰接物体的端到端位姿估计方法，还可以具有这样的技术特征，其中，所述位姿估计模型的训练包括以下步骤：步骤sa1，初始化所述位姿估计模型的模型参数；步骤sa2，将数据集划分为训练集、验证集、测试集，并将所述测试集和所述验证集分别进一步划分为所述训练集中见过和未见过的物体类别子集；步骤sa3，将所述训练集分批输入所述位姿估计模型得到输出结果；步骤sa4，将所述输出结果与真值组合计算损失函数的值；步骤sa5，判断是否达到预定的迭代停止条件，在判断为是时停止迭代，得到训练好的所述位姿估计模型；步骤sa6，在步骤sa5判断为否时，计算所述损失函数的梯度，并基于所述梯度更新所述模型参数，并返回步骤sa2。
7、本发明提供的用于铰接物体的端到端位姿估计方法，还可以具有这样的技术特征，其中，步骤sa3中，所述位姿估计模型的三个预测头分别输出三维点云中每个点的语义标签、中心偏移、归一化零件坐标空间区域坐标，步骤sa4中，对于语义预测的预测头采用focal loss作为损失函数，对于中心偏移的预测头采用l1 loss作为损失函数，对于归一化零件坐标空间区域坐标的预测头，通过离散化将输入的三维点云的坐标分为多个类，并采用softmax cross-entropy loss作为损失函数，将所述三个预测头对应的损失函数分别乘以相应的权重得到最终的所述损失函数。
8、本发明提供的用于铰接物体的端到端位姿估计方法，还可以具有这样的技术特征，其中，步骤sa5中，迭代停止条件为经过平滑处理后的损失不再继续减小或训练轮数达到20个epoch。
9、本发明提供的用于铰接物体的端到端位姿估计方法，还可以具有这样的技术特征，其中，所述数据集为gapartnet数据集，所述测试集和所述验证集分别包含十类部件类别。
10、本发明提供的用于铰接物体的端到端位姿估计方法，还可以具有这样的技术特征，其中，步骤s1中，所述语义分割模型为grounded-sam。
11、发明作用与效果
12、根据本发明的用于铰接物体的端到端位姿估计方法，通过一个统一的网络模型直接在目标铰接物体的三维点云上进行语义标签、质心偏移和npcs区域表示的同时估计，使得属于同一零部件实例的点能够为同一质心投票，并基于预测的质心偏移利用聚类算法区分归属同一零部件实例的点，再通过与真实点云对齐每个零部件实例的npcs区域表示来恢复各个零部件最终的姿态和大小，从而能够得到目标铰接物体中所有铰接部件的准确的6d位姿估计。此外，由于本发明的方法是一种单阶段、端到端的方法，不需要像现有的多阶段方法那样，先在点云中分割出多个零部件实例再进行位姿估计，因此本发明的方法计算成本相对较低。
13、本发明的方法能够应用于机器人抓取场景，在该场景下实现单阶段、实时的类别级别的铰接物体的6d位姿估计，使得机器人能够更好地区分铰接部件实例，从而更好地定位、抓取铰接部件，避免损坏其细微的关节，并使得机器人在相应的实时任务中具有更高的性能。
技术特征：
1.一种用于铰接物体的端到端位姿估计方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的用于铰接物体的端到端位姿估计方法，其特征在于：
3.根据权利要求2所述的用于铰接物体的端到端位姿估计方法，其特征在于：
4.根据权利要求2所述的用于铰接物体的端到端位姿估计方法，其特征在于：
5.根据权利要求4所述的用于铰接物体的端到端位姿估计方法，其特征在于：
6.根据权利要求5所述的用于铰接物体的端到端位姿估计方法，其特征在于：
7.根据权利要求4所述的用于铰接物体的端到端位姿估计方法，其特征在于：
8.根据权利要求1所述的用于铰接物体的端到端位姿估计方法，其特征在于：
技术总结
本发明提供一种用于铰接物体的端到端位姿估计方法，通过一个统一的网络模型直接在目标铰接物体的三维点云上进行语义标签、质心偏移和NPCS区域表示的同时估计，使得属于同一零部件实例的点能够为同一质心投票，并基于预测的质心偏移利用聚类算法区分归属同一零部件实例的点，再通过与真实点云对齐每个零部件实例的NPCS区域表示来恢复各个零部件最终的姿态和大小，从而能够得到目标铰接物体中所有铰接部件的准确的6D位姿估计。由于该方法是一种端到端的方法，不需要像现有的多阶段方法那样，先在点云中分割出多个零部件实例再进行位姿估计，因此计算成本相对较低。本发明的方法能够应用于机器人抓取场景，实现实时的类别级别的铰接物体的6D位姿估计。
技术研发人员：薛向阳,梁龙飞,付彦伟,黄敬顺
受保护的技术使用者：复旦大学
技术研发日：
技术公布日：2024/12/5