Autoencoders in Function Space

自编码器已经广泛应用，无论是其最初的确定性形式还是其变分形式（VAEs）。在科学应用中，考虑由函数组成的数据往往是有趣的；在图像处理中也有同样的视角。在实践中，离散化（在科学中出现的微分方程）或像素化（在图像中）使问题具有有限维度，但是首先构思能够处理函数的算法，然后再进行离散化或像素化，可以导致更好的算法，这些算法可以平滑地在不同的离散化或像素化级别之间运行。在本文中，引入了函数空间版本的自编码器（FAE）和变分自编码器（FVAE），并进行了分析和部署。确定VAE的目标函数的良定义性是一个微妙的问题，即使在有限维度上也是如此，在函数空间上则更加如此。只要数据分布与所选择的生成模型相容，FVAE目标就是良好定义的；例如，当数据来自随机微分方程时就会发生这种情况。FAE目标的有效性要广泛得多，并且可以直接应用于由微分方程控制的数据。将这些目标与神经算子结构配对，这些算子结构因此可以在任何网格上进行评估，从而使自编码器在科学数据的修复、超分辨率和生成建模方面具有新的应用。

本文旨在介绍函数空间版本的自编码器（FAE）和变分自编码器（FVAE），并探讨它们在科学数据处理中的应用。针对科学应用中的函数数据，以及图像处理中的像素数据，本文提出了一种在离散化或像素化之前先考虑函数算法的思路，以实现更好的算法性能。

本文提出了函数空间下的自编码器和变分自编码器，并采用神经算子架构来实现不同网格之间的平滑操作。其中，FVAE的目标函数在有限维度下就已经存在一些难以解决的问题，更何况在函数空间下，因此需要选择与生成模型兼容的数据分布。而FAE的目标函数则更为广泛适用于由微分方程控制的数据。

本文的亮点在于提出了函数空间下的自编码器和变分自编码器，并将其应用于科学数据处理中的图像修复、超分辨率和生成建模等方面。此外，本文还采用了神经算子架构，使得算法能够在任何网格上进行评估。作者还使用了多个数据集进行实验验证，并提供了开源代码。

近期相关研究包括：1.《Variational Autoencoder for Deep Learning of Images, Labels and Captions》；2.《Function Space Particle Optimization for Bayesian Neural Networks》；3.《Function Space Approximation in Bayesian Inverse Problems》等。