Neuroexplicit Diffusion Models for Inpainting of Optical Flow Fields

深度学习通过引入具有数百万参数的大规模神经网络，彻底改变了计算机视觉领域。训练这些网络需要大量的数据集，导致模型不透明且可能无法泛化。另一方面，从偏微分方程(PDEs)设计的模型将专业领域知识嵌入到数学方程中，并且通常依赖于少量手动选择的超参数。这使得它们天然透明，如果设计和校准得当，它们可以很好地泛化到未见过的场景。在本文中，我们展示了如何将模型驱动和数据驱动方法结合起来，通过将显式的基于PDE的方法与卷积神经网络相结合，获得最佳效果。我们演示了一种联合架构，用于修复光流场，并展示了模型和数据驱动建模的组合如何导致有效的架构。我们的模型在重建质量、鲁棒性和所需训练数据量方面均优于完全显式和完全数据驱动的基线。在不同遮罩密度下对端点误差进行平均后，我们的方法比显式基线提高了11-27%，比GAN基线提高了47%，比概率扩散基线提高了42%。因此，我们的方法为随机遮罩下的光流场修复树立了新的技术标杆。

本文试图将基于PDE的显式方法与卷积神经网络相结合，以解决光流场修复的问题。同时，论文也旨在证明将模型驱动方法和数据驱动方法相结合的有效性。

本文的关键思路是将基于PDE的显式方法和卷积神经网络相结合，以利用两种方法的优点，同时避免它们的缺点。通过这种结合，论文提出了一种有效的光流场修复方法，可以在重建质量、鲁棒性和所需训练数据量等方面优于其他基线模型。

本文的亮点在于提出了一种将模型驱动方法和数据驱动方法相结合的新思路，同时在光流场修复任务中取得了较好的效果。论文使用了多个数据集进行实验，并且提供了开源代码。值得进一步研究的是如何将这种结合方法应用到其他计算机视觉任务中。

近期相关研究包括：1. Deep Image Prior；2. Generative Image Inpainting with Contextual Attention；3. EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning。