LFMamba: Light Field Image Super-Resolution with State Space Model

近年来，现代神经网络的进步促进了光场图像超分辨率（LFSR）的显著发展。然而，这些方法通常面临捕捉长距离依赖关系（基于CNN）或遇到二次计算复杂度（基于Transformer）的挑战，这限制了它们的性能。最近，具有选择性扫描机制（S6）的状态空间模型（SSM），例如Mamba，在各种视觉任务中已经成为传统基于CNN和Transformer方法的优越替代品，由于其有效的长距离序列建模能力和线性时间复杂度而受益。因此，将S6集成到LFSR中变得迫切，特别是考虑到4D光场的大量数据。然而，主要的挑战在于“设计适合4D光场的扫描方法，以有效地模拟光场特征”。为了解决这个问题，我们在4D LFs的信息丰富的2D切片上采用SSMs，以充分探索空间上下文信息、互补的角度信息和结构信息。为了实现这一点，我们精心设计了一个基本的SSM块，其特点是一个有效的SS2D机制，可以在这些2D切片上更有效和高效地进行特征学习。基于上述两个设计，我们进一步介绍了一种基于SSM的LFSR网络，称为LFMamba。在LF基准测试中的实验结果表明，LFMamba具有优越的性能。此外，我们进行了广泛的消融研究，以验证我们提出的方法的有效性和泛化能力。我们期望我们的LFMamba能够为使用状态空间模型进行LF的有效表示学习提供新思路。

本论文旨在解决光场图像超分辨率（LFSR）中长距离依赖性建模和计算复杂度的问题，并提出了一种基于状态空间模型的选择性扫描机制的方法。

该方法利用2D切片的状态空间模型块，有效地学习光场图像的空间、角度和结构信息，实现了更高效、更准确的光场图像超分辨率。

论文通过实验验证了该方法在光场图像超分辨率方面的优越性，并进行了深入的消融实验和分析，同时提供了开源代码。该方法还可以在其他视觉任务中应用。

相关研究包括基于CNN和Transformer的LFSR方法，以及其他基于状态空间模型的视觉任务方法，如Mamba。