ECCV 2024｜未知关节状态的实时机器人位姿预测

https://arxiv.org/abs/2402.05655

从单张 RGB 图像中预测机器人位姿，在计算机视觉和机器人领域中是一项基础且关键的任务。它为多个下游任务奠定了基础，如视觉引导的机械臂控制、多机器人协作等任务。传统的机器人位姿预测方法^[2,4,5]依赖于已知机器人关节状态，仅专注于预测相机到机器人基座的旋转和平移。这些方法需要真实的机器人关节状态作为位姿预测的额外输入。然而，在低成本、缺乏复杂传感器的机械臂的位姿预测场景下，或在人机交互、多机器人协作等实际场景中，真实的机器人关节状态信息可能因环境限制无法被准确获取^[1]。这突显了在未知机器人内在状态情况下有效地进行位姿预测的需求。另外，独立地预测机器人的关节状态也成为了一个重要的需求。对此，我们明确了未知内在状态下机器人位姿整体预测（holistic robot pose estimation）的任务定义，即同时预测相机到机器人基座的位姿与机器人关节状态（joint state）。

这项任务比已知内在状态的机器人位姿预测更具挑战性。一方面，未知的关节状态导致不确定的机器人形态，增加了机器人位姿预测的模糊性与不确定性；另一方面，机器人关节状态的预测需要建立 2D 图像中关节位置到 3D 空间中关节位置的对应关系，这也因为机器人位姿的未知而更加棘手。为了解决这两个相互交织的挑战，提升预测的稳健性，我们需要设计一种能够将位姿预测与关节状态预测相互解耦的创新框架。

图1. 机器人位姿预测任务范式对比：（Known-joint）已知关节状态下的机器人位姿预测，（Unknown-joint）未知关节状态下的机器人位姿与关节状态整体预测。后者更为复杂，是我们研究处理的核心任务。

图2. 我们的模型框架。我们将任务分解为多个子任务，并设计不同子模块以分别解决不同子任务。

我们将机器人位姿与关节状态的整体预测任务分解为多个子任务，并为每个子任务设计了专用的神经网络模块，包括机器人参考基准点深度预测模块（DepthNet）、机器人关节状态预测模块（JointNet）、相机到机器人的旋转矩阵预测模块（RotationNet），以及机器人3D关键点位置预测模块（KeypointNet）。

独立的 DepthNet 模块负责预测机器人参考基准点的绝对深度。我们通过将相机的内参和机器人在图像中的尺度信息结合，获得初步的深度预测值。DepthNet 通过学习图像特征校正这一初步预测，提供更加准确的绝对深度值，有效降低单目深度预测的模糊性，为其他预测模块的工作奠定基础。

JointNet 模块基于提取到的全局图像特征，使用多层感知器（MLP）回归关节状态参数（每个关节的旋转角度或平移距离），为整体位姿预测提供必要的内在状态信息。RotationNet 模块同样通过 MLP 从全局图像特征中回归相机到机器人的旋转矩阵。KeypointNet 模块通过卷积层生成 3D 热图，并使用空间积分技术^[6]计算每个机器人多个关键点位置的 3D 坐标。通过预测这些关键点的位置，我们可以在图像特征空间内进一步细化对机器人的姿态预测，提升 JointNet 模块与 RotationNet 模块在机器人参数空间下的预测精度。

预测得到的机器人关节状态参数、相机到机器人的旋转矩阵与平移（取自机器人 3D 关键点坐标）作为正向运动学（forward-kinematics）过程的输入，用于计算输出最终的机器人 3D 关键点坐标。

我们的方法包含真实值监督和自监督两个训练阶段。在真实值监督阶段，我们使用合成数据集的真实标签来监督模型训练。在自监督阶段，我们通过多种一致性正则化机制在真实数据集上进行模型微调。这种多阶段训练策略有效地提高了模型的准确度和稳健性，大幅提升了模型在真实数据上的泛化能力。关于更多的方法细节，请参阅论文原文。

图3. 未知内在状态下机器人位姿预测任务性能对比。我们的方法在 AUC 和 Mean 两个指标上均整体优于先前最好方法 RoboPose^[3]。标记†的行表示作为参考的已知内在状态的机器人位姿预测方法。

图4. 在 Panda 3CAM-AK 数据集上的计算效率比较。标记†的行表示作为参考的已知内在状态的机器人位姿预测方法。

图5. 我们的方法与 RoboPose^[3]在真实数据集和合成数据集上的预测可视化对比。

图6. 已知内在状态下机器人位姿预测任务性能对比。

在这项研究中，我们提出了一个创新的、模块化的端到端框架，用于以实时速度预测机器人的位姿，无需依赖真实关节状态作为位姿预测的额外输入。这一框架对于机器人关节状态信息不可用或不可靠的现实场景尤为有益。我们的方法将复杂的任务细分为多个子任务，并为每个子任务设计了专用模块，通过多模块的协同工作，有效降低了预测复杂度。

我们通过定性、定量对比实验，证明了我们的方法不仅刷新了位姿预测精度，还大幅提升了预测效率。我们也通过多种消融实验证明了我们的模块化框架设计的有效性。在宏观层面，我们的研究首次实现了机器人位姿与关节状态的实时整体估计，为更灵活的工业级别的实时机器人位姿预测及更多实时应用奠定了基础。

[1] Zuo, Y., Qiu, W., Xie, L., Zhong, F., Wang, Y., Yuille, A.L.: Craves: Controlling robotic arm with a vision-based economic system. In CVPR 2019.

[2] Lee, T.E., Tremblay, J., To, T., Cheng, J., Mosier, T., Kroemer, O., Fox, D., Birch- field, S.: Camera-to-robot pose estimation from a single image. In ICRA2020.

[3] Labbé, Y., Carpentier, J., Aubry, M., Sivic, J.: Single-view robot pose and joint angle estimation via render & compare. In CVPR 2021.

[4] Lu, J., Richter, F., Yip, M.C.: Markerless camera-to-robot pose estimation via self- supervised sim-to-real transfer. In CVPR 2023.

[5] Tian, Y., Zhang, J., Yin, Z., Dong, H.: Robot structure prior guided temporal attention for camera-to-robot pose estimation from image sequence. In CVPR 2023.

[6] Sun, X., Xiao, B., Wei, F., Liang, S., Wei, Y.: Integral human pose regression. In ECCV 2018.

图文 | 班世锟 范居令

Computer Vision and Digital Art (CVDA)