Learning Novel View Synthesis from Heterogeneous Low-light Captures

神经辐射场已经在使用相同亮度级别下固定正常照明条件下捕获的输入视图中实现了新视角合成的基本成功。不幸的是，对于在低光条件下捕获的具有异质亮度级别的输入视图，合成新视图仍然是一个挑战。这种情况在现实世界中非常普遍。它会导致低对比度图像，其中细节被隐藏在黑暗中，相机传感器噪声严重降低了图像质量。为了解决这个问题，我们提出了学习根据反射率在异质视图之间保持不变的方法，从输入视图中分解照明、反射率和噪声。为了应对跨多视图的异质亮度和噪声水平，我们学习了照明嵌入并为每个视图单独优化噪声图。为了允许直观地编辑照明，我们设计了一个照明调整模块，可以实现照明组件的变亮或变暗。全面的实验表明，与最先进的方法相比，这种方法能够有效地对低光多视图噪声图像进行内在分解，并实现卓越的视觉质量和数值性能，用于合成新视图。

解决低光照条件下，输入视图亮度不同且噪声严重时合成新视图的挑战。

学习分解出输入视图中的照明、反射和噪声，并使得反射在不同视图间保持不变。通过学习照明嵌入和针对每个视图单独优化噪声图来解决视图间亮度和噪声水平的异质性。

论文提出的方法在低光照多视图噪声图像的内在分解和新视图合成方面表现出色，相比现有方法具有更好的视觉质量和数值性能。论文还设计了一个照明调整模块，可以直观地编辑照明。

最近的相关研究包括：《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《Learning to Synthesize 3D Novel Views of Indoor Scenes with Bootstrapped Multi-Plane Stereo》等。