Data Complexity Estimates for Operator Learning

操作符学习已成为数据驱动非线性算子逼近的新范式。尽管其在经验上取得了成功，但支配有效操作符学习条件的理论基础仍然不完整。本文发展了理论来研究操作符学习的数据复杂性，以补充现有关于参数复杂性的研究。我们研究了一个基本问题：实现所需精度$\epsilon$的操作符学习需要多少输入/输出样本？这个问题从$n$-widths的角度来看，并且本文作出了两个关键贡献。第一个贡献是对Lipschitz和Fr\'echet可微算子的一般类别的$n$-widths导出下界。这些下界严格证明了“数据复杂性的诅咒”，揭示了在这些一般类别上的学习需要指数样本量，其指数与所需精度$\epsilon$的倒数成正比。本文的第二个贡献是表明“参数效率”意味着“数据效率”；以傅里叶神经算子（FNO）为案例研究，我们严格证明了在更窄的算子类别上，FNO在可调参数数量方面高效逼近，操作符学习也可以在数据复杂性方面实现高效。具体而言，我们证明，如果只需要代数增加的可调参数数量来达到所需的逼近精度，则代数有界的数据样本数量也足以实现相同的精度。

本文旨在研究算子学习的数据复杂度，即为了达到所需精度ε，需要多少输入/输出样本？

本文从n-widths的角度探讨了算子学习的数据复杂度问题，并对Lipschitz和Fréchet可微算子类别的n-widths进行了下界推导，揭示了数据复杂度的“诅咒”。此外，本文还证明了“参数效率”可以导致“数据效率”，并以Fourier神经算子（FNO）为例，证明了在参数可调节数量有限的情况下，算子学习的数据复杂度可以达到效率。即，如果只需要代数增加的可调参数数量来达到所需的逼近精度，那么代数有界的数据样本数量也足以达到同样的精度。

本文的亮点在于，首先从n-widths的角度对算子学习的数据复杂度进行了深入研究，揭示了数据复杂度的“诅咒”，其次，本文证明了“参数效率”可以导致“数据效率”，并以FNO为例进行了实验验证。实验结果表明，在参数可调节数量有限的情况下，算子学习的数据复杂度可以达到效率。此外，本文还提供了Lipschitz和Fréchet可微算子类别的n-widths下界推导。本文没有提供开源代码。

最近在这个领域中，还有一些相关的研究。例如，Arora等人的论文“Understanding deep learning requires rethinking generalization”（2018）提出了深度学习的泛化问题；而Belkin等人的论文“Reconciling modern machine learning practice and the bias-variance trade-off”（2019）则对偏差-方差平衡问题进行了探讨。