NeRF-Feat: 6D Object Pose Estimation using Feature Rendering

物体姿态估计是机器人抓取和增强现实中至关重要的组件。基于学习的方法通常需要来自高度精确的CAD模型或使用复杂设置获取的标记训练数据。我们通过学习从弱标记数据中估计姿态来解决这个问题，而无需已知CAD模型。我们建议使用NeRF隐式学习物体形状，然后与CNN结合使用对比损失来学习视角不变的特征。虽然NeRF有助于学习视角一致的特征，但CNN确保所学习的特征符合对称性。在推断过程中，CNN用于预测视角不变的特征，这些特征可以用于与NeRF中的隐式3D模型建立对应关系。然后使用这些对应关系来估计在NeRF参考框架中的姿态。我们的方法也可以处理对称物体，而其他使用类似训练设置的方法则不行。具体而言，我们使用NeRF学习视角不变的判别特征，然后用于姿态估计。我们在LM、LM-Occlusion和T-Less数据集上评估了我们的方法，并在使用弱标记数据的情况下实现了基准精度。

论文旨在解决物体姿态估计中需要高精度CAD模型或复杂标注数据的问题，提出了一种利用弱标注数据学习姿态估计的方法。

利用神经辐射场（NeRF）隐式学习物体形状，再结合卷积神经网络（CNN）使用对比损失学习视角不变特征，从而实现姿态估计。NeRF帮助学习视角一致的特征，CNN确保学习到的特征具有对称性。

该方法能够处理对称物体，使用NeRF学习视角不变的判别特征，最终实现姿态估计。在LM、LM-Occlusion和T-Less数据集上实验，取得了与其他方法相当的性能。

相关研究包括利用深度学习进行物体姿态估计的方法，以及使用NeRF学习物体形状的方法。