Dark3R: Learning Structure from Motion in the Dark

我们提出了Dark3R，这是一种面向极暗环境的运动恢复结构（SfM）框架，可直接处理信噪比（SNR）低于−4 dB的原始图像——在此极端低照度条件下，传统基于特征或基于学习的方法均会失效。我们的核心思想是：通过师生蒸馏（teacher–student distillation）策略，将大规模三维基础模型适配至极端低照度场景，从而实现在弱光条件下的鲁棒特征匹配与相机位姿估计。Dark3R无需任何三维监督信号；其训练仅依赖于成对的噪声—干净原始图像，这些图像既可通过真实拍摄直接获取，也可通过对曝光充分的原始图像施加简单的泊松–高斯噪声模型进行合成。为支持本方法的训练与评估，我们构建了一个全新的、具备多档曝光设置的数据集，其中包含约42,000张多视角原始图像，并配有精确的真值三维标注。实验表明，Dark3R在低信噪比条件下的运动恢复结构性能达到当前最优水平。此外，我们进一步利用Dark3R所预测的相机位姿，结合由粗到精的辐射场优化流程，实现了暗光环境下新颖视角合成的最先进性能。

在极低光照条件下（SNR < -4 dB）进行结构光运动（SfM）重建——传统基于特征点或深度学习的方法在此信噪比下完全失效，且缺乏适用于raw域、无3D标注监督的端到端低光SfM框架。这是一个新问题：此前SfM研究几乎全部假设充足光照或预去噪输入，未系统探索raw域极暗条件下的几何感知极限。

提出Dark3R框架，核心是将大规模3D基础模型（如3D Gaussian Splatting或NeRF先验）通过teacher-student蒸馏适配至极暗raw图像：teacher在合成/实拍的高SNR clean raw上构建稳健3D特征表示，student在paired noisy-clean raw对上学习噪声鲁棒的对应关系与位姿回归；全程无需任何3D ground truth监督，仅依赖raw域噪声建模（Poisson-Gaussian）与曝光匹配的图像对。

1) 首个专为raw域极暗SfM设计的无3D监督框架；2) 发布首个带多视角、曝光包围（exposure-bracketed）、raw格式、含精确3D标注的大规模数据集（~42k images）；3) 在SNR<-4dB下实现SOTA相机位姿估计与稀疏重建；4) 端到端支持下游任务：结合coarse-to-fine radiance field优化，达成SOTA暗光novel view synthesis；5) 代码与数据集已开源（论文中明确声明）。值得深入：蒸馏中teacher的3D先验如何解耦光照不变几何表征？是否可扩展至视频时序建模？

1) 'NeRF in the Dark: Neural Radiance Fields from Extremely Low-Light Images' (CVPR 2023); 2) 'RawSfM: Structure-from-Motion on Unprocessed Raw Images' (ICCV 2021); 3) 'LoFTR: Detector-Free Local Feature Matching with Transformers' (NeurIPS 2021); 4) 'Dust3R: Geometric Reconstruction from Images Alone' (ECCV 2024); 5) 'DeepISP: Learning End-to-End Image Processing Pipeline' (TPAMI 2022)