GSGTrack: Gaussian Splatting-Guided Object Pose Tracking from RGB Videos

在单目RGB视频序列中跟踪未知物体的六自由度姿态对于机器人操作至关重要。然而，现有的方法通常依赖于精确的深度信息，这在实际场景中并不容易获得。虽然可以使用深度估计算法，但几何不准确性可能导致基于RGBD的姿态跟踪方法失败。为了解决这一挑战，我们引入了GSGTrack，这是一种新颖的基于RGB的姿态跟踪框架，能够同时优化几何结构和姿态。具体来说，我们采用3D高斯点绘技术创建一个可优化的3D表示，并与基于图的几何优化同时学习，以捕捉物体的外观特征并精化其几何结构。然而，联合优化过程容易受到噪声姿态和几何数据的干扰。因此，我们提出了一种物体轮廓损失，以解决像素级损失在跟踪过程中对姿态噪声过于敏感的问题。为了缓解由于深度信息不准确导致的几何模糊问题，我们提出了一种几何一致性图像对选择策略，该策略过滤掉低置信度的图像对，确保稳健的几何优化。广泛的实验表明，GSGTrack在OnePose和HO3D数据集上的6DoF姿态跟踪和物体重建方面均表现出有效性。

该论文旨在解决在单目RGB视频序列中对未知物体进行6自由度姿态跟踪的问题。现有方法通常依赖于准确的深度信息，但在实际场景中获取这些信息并不容易，即使使用深度估计算法，几何不准确性也可能导致RGBD姿态跟踪方法失败。

论文提出了一种名为GSGTrack的新型RGB姿态跟踪框架，该框架联合优化几何和姿态。具体来说，采用3D高斯点绘技术创建可优化的3D表示，并与基于图的几何优化同时学习，以捕捉物体的外观特征并细化其几何结构。为了解决联合优化过程中受噪声影响的问题，提出了一个物体轮廓损失函数，以减少像素级损失对姿态噪声的敏感性。此外，还提出了一种几何一致性图像对选择策略，以过滤掉低置信度的图像对，确保鲁棒的几何优化。

1. 提出了GSGTrack框架，能够仅使用RGB图像进行6DoF姿态跟踪和物体重建。 2. 采用3D高斯点绘和基于图的几何优化，提高了姿态跟踪的准确性和鲁棒性。 3. 引入了物体轮廓损失函数，减少了像素级损失对姿态噪声的敏感性。 4. 提出了一种几何一致性图像对选择策略，有效解决了深度信息不准确带来的几何模糊问题。 5. 在OnePose和HO3D数据集上进行了广泛的实验，证明了方法的有效性。 6. 论文提供了开源代码，方便其他研究人员复现和进一步研究。

1. "OnePose: Monocular 6-DoF Object Pose Estimation via One-Shot Keypoint Regression" - 这篇论文提出了通过单次关键点回归实现单目6DoF物体姿态估计的方法。 2. "6D Object Pose from Semantic Keypoints" - 该研究利用语义关键点进行6DoF物体姿态估计。 3. "DeepIM: Deep Iterative Matching for 6D Object Pose Estimation" - 这篇论文提出了一种深度迭代匹配方法，用于6DoF物体姿态估计。 4. "Learning 6D Object Pose Estimation using 3D Matchable Patches" - 该研究通过3D可匹配补丁学习6DoF物体姿态估计。 5. "Monocular 3D Object Detection Leveraging Geometric Context and Depth Estimation" - 这篇论文探讨了利用几何上下文和深度估计进行单目3D物体检测的方法。