Matrix3D: Large Photogrammetry Model All-in-One

我们介绍了Matrix3D，这是一个统一的模型，能够执行多个摄影测量子任务，包括姿态估计、深度预测和新视图合成，且仅使用同一个模型。Matrix3D利用多模态扩散变换器（DiT）来整合图像、相机参数和深度图等多种模态之间的转换。Matrix3D的大规模多模态训练的关键在于引入了一种掩码学习策略。这使得即使在部分完整数据（如图像-姿态和图像-深度对的双模态数据）的情况下也能进行全模态模型训练，从而大大增加了可用的训练数据量。Matrix3D在姿态估计和新视图合成任务中展示了最先进的性能。此外，它通过多轮交互提供了细粒度的控制，使其成为3D内容创作的一个创新工具。项目页面：https://nju-3dv.github.io/projects/matrix3d。

Matrix3D旨在解决多个 photogrammetry 子任务，包括姿态估计、深度预测和新视角合成。这些任务通常需要不同的模型来完成，而Matrix3D试图通过一个统一的模型来处理这些问题。这不仅简化了工作流程，也提高了效率。这是一个新颖的问题，因为它尝试在一个框架中整合多种功能。

关键思路在于使用一个多模态扩散变压器（DiT）来整合不同类型的输入数据（如图像、相机参数和深度图）。此外，引入了一种掩码学习策略，使得即使在部分数据缺失的情况下也能进行完整的多模态训练。这种方法大大扩展了可用的训练数据池，并且能够处理更广泛的数据类型。

Matrix3D展示了在姿态估计和新视角合成任务上的最先进性能。它还提供了细粒度控制，支持多轮交互，使其成为3D内容创作的强大工具。实验设计涵盖了多种任务，并使用了大规模的真实世界数据集。项目页面提供了开源代码和详细文档，鼓励进一步的研究和应用开发。

最近的相关研究包括：1) NeRF (Neural Radiance Fields)，用于高质量的新视角合成；2) MonoDepth2，专注于从单目图像中预测深度；3) DROID-SLAM，一种基于深度学习的姿态估计方法。其他值得注意的工作有《Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer》和《Occupancy Networks: Learning 3D Reconstruction in Function Space》。