Untrained Neural Nets for Snapshot Compressive Imaging: Theory and Algorithms

本文关注使用未经训练的神经网络（UNN）的SCI恢复算法，例如深度图像先验（DIP），以对源结构进行建模。这些基于UNN的方法具有吸引力，因为它们有潜力避免针对不同源模型和不同测量场景需要进行计算密集型的重新训练。我们首先开发了一个理论框架来表征这些基于UNN的方法的性能。这个理论框架一方面使我们能够优化数据调制掩码的参数，另一方面提供了从单个测量中可以恢复的数据帧数与未经训练的NN参数之间的基本联系。我们还采用最近提出的袋装深度图像先验（bagged-DIP）思想，开发了SCI Bagged Deep Video Prior（SCI-BDVP）算法，以解决标准UNN解决方案面临的常见挑战。我们的实验结果表明，在视频SCI中，我们提出的解决方案在UNN方法中达到了最先进水平，并且在噪声测量的情况下，它甚至优于监督解决方案。

本文旨在解决单个2D测量恢复高维（3D）数据立方体的问题，即快速高效地进行视频和高光谱成像等应用。

本文提出了一种基于未经训练的神经网络（UNN）的SCI恢复算法，即深度图像先验（DIP），用于建模源结构。该方法具有避免不同源模型和不同测量场景需要重新训练的潜力。

本文首先开发了一个理论框架来表征这种基于UNN的方法的性能，其一方面使我们能够优化数据调制掩模的参数，另一方面提供了从单个测量中可以恢复的数据帧数量与未经训练的NN参数之间的基本联系。其次，本文采用最近提出的袋化深度图像先验（bagged-DIP）思想，开发了SCI袋化深度视频先验（SCI-BDVP）算法，以解决标准UNN解决方案面临的常见挑战。实验结果表明，在视频SCI方面，我们提出的解决方案在UNN方法中达到了最先进的水平，在噪声测量的情况下，它甚至优于监督解决方案。

最近在这个领域中，还有其他相关研究，如“End-to-End Optimized Deep Compressive Sensing”和“Deep Video Prior for Dynamic Scene Reconstruction”。