Integration of Programmable Diffraction with Digital Neural Networks

基于衍射元件的光学成像和传感系统在过去几十年中取得了巨大的进展。早期的衍射光学处理器通常被设计为向独立系统传递信息，该系统是单独优化的，主要由人类视觉或感知驱动。随着深度学习和数字神经网络的最新进展，人们开始努力建立联合优化的衍射处理器，数字神经网络作为其后端。这些联合优化的混合（光学+数字）处理器在输入模拟信息的电磁波和在后端处理数字化信息的神经网络之间建立了一种新的“衍射语言”，提供了最佳的两个世界。这样的混合设计可以处理空间和时间上一致、部分一致或不一致的输入波，为任何空间变化的点扩散函数提供通用覆盖，这些函数可以针对特定任务进行优化，并与数字神经网络协同执行。在本文中，我们强调了工程化和编程衍射与数字神经网络之间这种激动人心的协作的实用性，以及它们为各种应用带来的重大创新。我们概述了通过模拟波处理和数字神经网络之间的推拉关系实现的一些主要创新，还涵盖了这两个互补范例之间协同作用所带来的重大好处。

本文介绍了基于衍射元件的光学成像和感知系统与数字神经网络的联合优化，以解决传统衍射光学处理器只能提供信息给独立系统的问题。

本文提出了一种新的“衍射语言”，将输入的电磁波与数字神经网络一起优化，实现了光学和数字处理的协同作用，提高了处理效率和精度。

本文介绍了衍射光学处理器与数字神经网络的联合优化在不同应用场景下的优势，并探讨了未来的研究方向。实验使用了不同的数据集和算法，并对结果进行了详细分析。

最近的相关研究包括“Deep Learning with Optical Diffractive Networks”和“Computational Imaging with Optical Diffractive Neural Networks”。