MEt3R: Measuring Multi-View Consistency in Generated Images

我们引入了MEt3R，这是一种用于评估生成图像多视图一致性的度量标准。 大规模的多视图图像生成模型正在迅速推动从稀疏观测中进行3D推断的领域发展。然而，由于生成模型的特性，传统的重建指标并不适合用来衡量生成输出的质量，因此迫切需要与采样过程无关的指标。在这项工作中，我们特别关注生成的多视图图像之间的一致性方面，这可以独立于具体场景进行评估。我们的方法使用DUSt3R以前馈方式从图像对中获得密集的3D重建，这些重建用于将一个视图中的图像内容变形到另一个视图中。然后，通过比较这些图像的特征图来获得一个对视图依赖效应不变的相似度分数。利用MEt3R，我们评估了一大批先前方法在新视图和视频生成方面的一致性，包括我们公开的多视图潜在扩散模型。

该论文试图解决多视图图像生成中的一致性评估问题。传统重建指标不适用于衡量生成模型的输出质量，特别是在从稀疏观测中推断3D结构的情况下。这是一个相对较新的问题，因为随着大型生成模型的发展，如何评估其生成结果的质量变得越来越重要。

论文的关键思路是引入了一种名为MEt3R的新度量方法，用于评估多视图生成图像之间的一致性。该方法利用DUSt3R技术从图像对中获得密集的3D重建，并通过将一个视图的内容扭曲到另一个视图来进行特征图比较，从而得到一个不受视角影响的相似度分数。这种方法独立于具体的场景和采样过程，能够更准确地评估生成图像的一致性。

论文设计了详尽的实验来验证MEt3R的有效性，使用了多种数据集进行测试，并且开源了他们的多视图潜在扩散模型代码。此外，作者还评估了一系列先前的方法，展示了MEt3R在评估新型视图和视频生成方面的能力。未来可以进一步研究如何将MEt3R应用于其他类型的生成模型，以及探索更多改进3D重建精度的方法。

最近在这个领域中，还有其他一些相关研究，例如： 1.《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》 2.《Pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis》 3.《StyleSDF: Style-based 3D-Aware Image Generation using Sparse Volumetric Representation》 这些研究都致力于提高从稀疏观测中推断3D结构的能力，但MEt3R提供了一种全新的、独立于具体场景的评估方式。