Operator Learning of Lipschitz Operators: An Information-Theoretic Perspective

基于神经算子的运算学习已经成为数据驱动算子逼近的一种有前途的范例，可以映射到无限维Banach空间之间。尽管已经取得了重大的实证进展，但我们对这些逼近的效率的理论理解仍然不完整。本文研究了Lipschitz连续算子的神经算子逼近的参数复杂性。在最近关于特定体系结构限制的发现的启发下，我们采用了信息论的视角。我们的主要贡献是在两种逼近设置下建立了Lipschitz算子的度量熵的下界；一种是在输入函数的紧致集合上进行均匀逼近，另一种是在期望逼近中，输入函数从概率测度中绘制。结果表明，这些熵的下界意味着，无论使用哪种激活函数，达到逼近精度$\epsilon$的神经算子体系结构必须具有指数级的大小，大小由存储给定模型所需的编码位数来衡量。本文的结果阐明了运算学习中的基本权衡和限制。

本论文旨在解决基于神经算子的参数化复杂度问题，即针对Lipschitz连续算子的神经算子逼近的参数化复杂度问题。

从信息论的角度，通过对度量熵的下限进行研究，证明了无论使用什么激活函数，神经算子架构的大小都必须是指数级的，这一结果揭示了算子学习中的基本权衡和限制。

本论文在两个逼近设置中建立了Lipschitz算子的度量熵下限，证明了神经算子架构的大小必须是指数级的，实验结果表明这一结论是普适的，值得进一步研究。

近期的相关研究包括：《On the Expressive Power of Deep Neural Networks》、《Understanding deep learning requires rethinking generalization》等。