Bayes3D: fast learning and inference in structured generative models of 3D objects and scenes

机器人目前还无法像人类一样快速学习新型3D物体的形状，并能够在杂乱和遮挡的情况下稳健地识别它们。我们提出了Bayes3D，这是一个针对结构化3D场景的具有不确定性感知能力的感知系统，能够在杂乱和遮挡的情况下报告关于3D物体形状、姿态和场景组成的准确后验不确定性。Bayes3D通过一种新颖的3D场景分层贝叶斯模型和GPU加速的粗到细的顺序蒙特卡罗算法实现了这些功能。定量实验表明，Bayes3D可以从仅有少量视角学习新物体的3D模型，比神经网络基线更加稳健地识别它们，并且需要的训练数据量少得多。在单个GPU上，Bayes3D可以更快地跟踪3D物体，超越实时。我们还展示了在桌面场景中使用Bayes3D时，它可以学习复杂的3D物体模型并准确地推断3D场景组成。

本论文旨在解决机器人在3D场景中识别和跟踪物体的问题，特别是在存在杂物和遮挡的情况下。这是否是一个新问题？

Bayes3D是一种基于贝叶斯模型的感知系统，可以对物体的形状、姿态和场景组成进行准确的后验不确定性估计。通过一种新颖的层次贝叶斯模型和GPU加速的粗到细的顺序蒙特卡罗算法，Bayes3D可以从少量的视角学习新物体的3D模型，并且比神经网络基线更加稳健。此外，Bayes3D可以在单个GPU上以快于实时的速度跟踪3D物体。

论文使用实验验证了Bayes3D的性能，展示了它在桌面场景中的应用。实验表明，Bayes3D可以从少量视角学习新物体的3D模型，并且比神经网络基线更加稳健。此外，Bayes3D可以在单个GPU上以快于实时的速度跟踪3D物体。论文还提供了开源代码。

最近的相关研究包括：1）神经网络方法用于3D物体识别和跟踪；2）基于视觉几何的方法用于3D物体识别和跟踪；3）基于传统机器学习方法的3D物体识别和跟踪方法。