Real-time Noise Source Estimation of a Camera System from an Image and Metadata

自主机器必须自我维护适当的功能，以确保人类和自身的安全。这尤其涉及其摄像头作为感知环境和支持行动的主要传感器。本研究所解决的基本摄像头问题是噪声。解决方案通常集中在事后去噪图像，即解决症状而非根本原因。然而，解决根本原因需要确定噪声来源，考虑移动平台的限制。本研究调查了一种实时、内存高效和可靠的噪声源估计器，它结合了数据和物理模型。为此，建立并训练了一个DNN，它使用摄像头元数据检查图像中的主要摄像头噪声源。此外，它还量化影响图像噪声或元数据的意外因素。本研究在包括合成噪声、来自两个摄像头系统的真实世界噪声和真实现场活动的六个数据集上调查了七种不同的估计器。对于这些数据集，只有具有最多元数据的模型能够准确而稳健地量化所有单个噪声贡献。这种方法优于总图像噪声估计器，并可即插即用部署。它还可作为包含更高级噪声源的基础，或作为自动对策反馈循环的一部分，以实现完全可靠的机器。

解决相机噪声问题，提高自主机器的功能和安全性。该论文通过结合数据和物理模型，建立了一个实时、内存高效、可靠的噪声源估计器，以识别和量化噪声源。

该论文的关键思路是建立一个基于数据和物理模型的DNN模型，通过检查相机图像和元数据来识别主要的相机噪声源，以及量化影响图像噪声或元数据的意外因素。

该论文在六个数据集上研究了七种不同的噪声源估计器，包括合成噪声、来自两个相机系统的真实世界噪声以及真实场景下的数据。实验表明，该模型是最准确和最可靠的，能够准确地量化所有单独的噪声贡献。该方法的优点是可以即插即用，并且可以作为自动对策反馈循环的一部分，以逐步实现完全可靠的机器。

最近的相关研究包括使用深度学习技术进行图像去噪，以及使用传感器数据进行噪声估计和校正。相关论文包括：《Deep Residual Learning for Image Denoising》和《Sensor Noise Modeling: A Survey》。