NeRFmentation: NeRF-based Augmentation for Monocular Depth Estimation

本文提出了一种基于NeRF的数据增强方法，名为“NeRFmentation”，用于解决单目深度估计（MDE）模型由于数据集不足而受限的问题。在自动驾驶的MDE模型中，由于所捕获的数据轨迹的线性性，这个问题变得更加严重。我们的方法通过NeRF模型在数据集中训练每个场景，并根据相关指标过滤出不合格的NeRF模型，从而生成从新的视角捕获的合成RGB-D图像，以增加训练数据集的多样性。在本文中，我们将该技术应用于三种最先进的MDE架构，并在流行的自动驾驶数据集KITTI的Eigen split的训练集上进行了评估，同时在原始测试集、另一个流行的驾驶数据集和我们自己的合成测试集上评估了所得到的性能提升。

提高单目深度估计模型的性能和鲁棒性，解决数据集不足和数据采集线性问题。

提出了一种基于NeRF的数据增强方法，称为NeRFmentation，通过训练每个场景的NeRF并生成新的视角下的RGB-D图像来增加数据集的多样性。

实验使用了KITTI数据集，将NeRFmentation应用于三种MDE模型，提高了模型的性能和鲁棒性。论文提供了开源代码。

最近的相关研究包括使用GAN生成合成数据以增强数据集和使用视角变换进行数据增强。相关论文包括《Unsupervised Monocular Depth Estimation with Left-Right Consistency》和《Unsupervised Learning of Depth and Ego-Motion from Video》。