OmniNOCS: A unified NOCS dataset and model for 3D lifting of 2D objects

我们提出了OmniNOCS，这是一个室内外场景的大规模单目数据集，包括3D归一化物体坐标空间（NOCS）地图、物体掩模和3D边界框注释。OmniNOCS比现有的NOCS数据集（NOCS-Real275、Wild6D）拥有20倍的物体类别和200倍的实例。我们使用OmniNOCS来训练一种新颖的基于Transformer的单目NOCS预测模型（NOCSformer），该模型可以从不同类别的2D物体检测中预测准确的NOCS、实例掩模和姿态。这是第一个可以在提示2D框时推广到广泛类别的NOCS模型。我们在3D定向边界框预测任务上评估了我们的模型，在这个任务上，它取得了与Cube R-CNN等最先进的3D检测方法相当的结果。与其他3D检测方法不同，我们的模型还提供了详细和准确的3D物体形状和分割。我们提出了一个基于OmniNOCS的NOCS预测任务的新基准，希望它能成为未来该领域工作的有用基线。我们的数据集和代码将在项目网站https://omninocs.github.io上提供。

论文旨在解决monocular NOCS预测模型的泛化问题，即如何从2D检测框中预测准确的NOCS、实例掩码和姿态，以及如何提高NOCS预测的准确性和效率。

论文提出了一个新的monocular NOCS预测模型——NOCSformer，它基于transformer架构，可以在多个类别上进行泛化。此外，论文还提出了一个新的基于OmniNOCS数据集的NOCS预测基准。

论文提出了一个新的monocular NOCS预测模型，可以在多个类别上进行泛化，并且提供了详细和准确的3D对象形状和分割。此外，论文还提出了一个新的基于OmniNOCS数据集的NOCS预测基准，并且在该数据集上进行了实验评估。该数据集比现有数据集具有更多的对象类别和实例数量。论文还开源了数据集和代码。

最近的相关研究包括NOCS-Real275、Wild6D等NOCS数据集，以及一些基于3D检测的方法，如Cube R-CNN。