FastCAD: Real-Time CAD Retrieval and Alignment from Scans and Videos

将3D世界数字化为基于清晰CAD模型的表示对增强现实和机器人技术具有重要应用。目前最先进的方法在计算上很耗费资源，因为它们需要分别对每个被检测到的物体进行编码，并在第二阶段优化CAD对齐。在本文中，我们提出了FastCAD，一种实时方法，可以同时检索和对齐给定场景中所有物体的CAD模型。与以往的方法不同，我们直接预测对齐参数和形状嵌入。我们通过在对比学习框架中学习CAD嵌入，并将其提炼到FastCAD中，实现高质量的形状检索。与在RGB-D扫描上操作的其他方法相比，我们的单阶段方法将推理时间加速了50倍，同时在具有挑战性的Scan2CAD对齐基准测试中表现更好。此外，我们的方法可以与在线3D重建技术无缝协作。这使得从视频实时生成基于精确CAD模型的重建成为可能，帧率为10 FPS。通过这样做，我们将视频设置中的Scan2CAD对齐精度从43.0％提高到48.2％，将重建精度从22.9％提高到29.6％。

FastCAD试图解决的问题是将3D世界数字化为基于CAD模型的干净表示，以用于增强现实和机器人技术。现有的方法计算密集，需要单独编码每个检测到的对象并在第二阶段优化CAD对齐。

FastCAD是一种实时方法，可以同时检索和对齐给定场景中所有对象的CAD模型。与以往的方法不同，FastCAD直接预测对齐参数和形状嵌入。通过在对比学习框架中学习CAD嵌入并将其蒸馏到FastCAD中，我们实现了高质量的形状检索。我们的单阶段方法将推理时间加速了50倍，而在具有挑战性的Scan2CAD对齐基准测试中表现优异。此外，我们的方法与在线3D重建技术无缝协作，从而实现了每秒10帧的视频精确CAD模型重建的实时生成。

本论文的亮点包括：通过对比学习框架学习CAD嵌入并将其蒸馏到FastCAD中，实现了高质量的形状检索；单阶段方法将推理时间加速了50倍，同时在Scan2CAD对齐基准测试中表现优异；能够实时生成精确的CAD模型重建；通过实验验证了FastCAD的有效性，并提高了Scan2CAD对齐准确性和重建准确性。

在这个领域中，最近的相关研究包括：Scan2CAD，3DMatch，Deep Global Registration，以及3DFeat-Net等。