Fovea Stacking: Imaging with Dynamic Localized Aberration Correction

近期，对更小型相机的需求推动了对简化光学复杂性的计算成像系统的研究，例如减少镜头元件的数量。然而，这种简化的光学系统通常会遭受严重的像差问题，尤其是在离轴区域，这些问题仅通过软件校正往往十分困难。 在本文中，我们提出了“视网膜堆叠”（Fovea Stacking），这是一种新型的成像系统，它利用一种新兴的动态光学组件——可变形相位板（Deformable Phase Plates, DPPs）来实现图像传感器上任意位置的局部像差校正。通过一个可微分的光学模型优化DPP的变形，系统能够在固定点处进行局部像差校正，生成具有增强锐度的注视点图像，类似于人眼的视网膜中央凹（fovea）。将多个这样的注视点图像堆叠起来，每个图像对应不同的固定点，最终可以得到一幅无像差的合成图像。为了高效覆盖整个视场，我们提出了一种在成像预算约束下联合优化DPP变形的方法。由于DPP设备表现出非线性行为，我们引入了一种基于神经网络的控制模型，以提高模拟与硬件性能之间的一致性。 此外，我们还证明了在扩展景深成像中，视网膜堆叠技术在图像质量上优于传统的焦点堆叠方法。通过集成目标检测或眼动追踪功能，该系统能够动态调整镜头以跟踪感兴趣的对象，从而实现适合实时监控或注视点虚拟现实显示等下游应用的注视点视频。

论文试图解决简化光学系统（如减少镜头元件）中因严重像差导致的图像质量下降问题，特别是在离轴区域的表现。这是一个长期存在的问题，但随着动态光学组件的发展，提供了新的解决方案。

关键思路是引入Fovea Stacking技术，利用可变形相位板（DPPs）进行局部像差校正，并通过优化DPP变形生成锐化后的注视点图像。随后将多个不同注视点的图像叠加，形成无像差的完整图像。该方法结合了硬件和软件的优势，突破了传统软件校正的局限性。

1. 提出了联合优化DPP变形的方法，在成像预算约束下高效覆盖整个视场；2. 使用神经网络建模DPP的非线性行为，提高模拟与实际硬件性能的一致性；3. 在扩展景深成像任务中，Fovea Stacking优于传统焦点堆叠技术；4. 集成目标检测或眼动追踪功能，支持实时动态调整，适用于监控或虚拟现实等场景。代码和数据集未提及是否开源，但研究方向值得进一步探索，例如更高效的DPP控制算法。

相关研究包括：1. 计算摄影领域的像差校正方法，如基于深度学习的图像复原；2. 动态光学元件的应用研究，例如Liquid Lens、MEMS镜片等；3. 类似的技术如Focus Stacking和Light Field Imaging；4. 相关论文标题可以参考《Computational Aberration Correction Using Deep Learning》、《Adaptive Optics with Deformable Mirrors for Imaging Systems》等。