RoboKeyGen: Robot Pose and Joint Angles Estimation via Diffusion-based 3D Keypoint Generation

本文讨论了在先进机器人中估计机器人位姿和关节角度的重要性，使得机器人协作和在线手眼校准等应用成为可能。然而，未知关节角度的引入使得预测比简单的机器人位姿估计更加复杂，因为其维度更高。以往的方法要么直接回归3D关键点，要么利用渲染和比较策略。这些方法在性能或效率方面经常遇到困难，并且需要解决跨摄像机间隔的问题。本文提出了一个新的框架，将高维预测任务分成两个可管理的子任务：2D关键点检测和将2D关键点提升到3D。这种分离可以在不牺牲基于关键点的技术的效率的情况下提高性能。我们方法的一个重要组成部分是将2D关键点提升到3D关键点。常见的确定性回归方法可能会在面对2D检测误差或自遮挡时遇到困难。利用扩散模型的强大建模潜力，我们将这个问题重新定义为条件3D关键点生成任务。为了增强跨摄像机的适应性，我们引入了归一化相机坐标空间（NCCS），确保估计的2D关键点在不同的摄像机内部对齐。实验结果表明，所提出的方法优于最先进的渲染和比较方法，并实现了更高的推理速度。此外，测试强调了我们方法的跨摄像机泛化能力。我们打算在https://nimolty.github.io/Robokeygen/上发布数据集和代码。

本文旨在解决机器人姿态和关节角度估计的问题，尤其是在存在未知关节角度的情况下进行预测的问题。这是一个新的问题吗？

本文提出了一种新的框架，将高维预测任务分解为两个可管理的子任务：2D关键点检测和将2D关键点提升到3D。通过这种方式，可以提高性能而不会牺牲基于关键点的技术的效率。同时，利用扩散模型的鲁棒建模潜力，将2D关键点提升为3D关键点。为了增强跨摄像头适应性，引入了归一化相机坐标空间（NCCS），确保估计的2D关键点在不同的相机内部参数下对齐。

本文的亮点包括：提出了一种新的框架来解决机器人姿态和关节角度估计的问题，通过将高维预测任务分解为两个可管理的子任务来提高性能；利用扩散模型的鲁棒建模潜力，将2D关键点提升为3D关键点；引入了归一化相机坐标空间（NCCS），增强了跨摄像头适应性。实验结果表明，本文的方法优于现有的渲染比较方法，并实现了更高的推理速度。作者将数据集和代码开源。

最近在这个领域中，还有一些相关研究，例如：《Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects》、《Learning to Estimate 3D Human Pose and Shape from a Single Color Image》等。