Approximately Equivariant Neural Processes

等变深度学习架构利用学习问题中的对称性，提高基于神经网络的模型的样本效率和泛化能力。然而，当建模真实世界的数据时，学习问题通常不是完全等变的，而只是近似等变的。例如，从气象站观测数据估计全球温度场时，局部地形特征如山脉会破坏平移等变性。在这些情况下，构建可以灵活离开精确等变性的架构是可取的，以便以数据驱动的方式进行建模。在本文中，我们使用现有的等变架构开发了一种通用方法来实现这一点。我们的方法对对称群和模型架构的选择都是不可知的，因此具有广泛的适用性。我们考虑在神经过程（NPs）中使用近似等变架构，这是一种流行的元学习模型。我们在许多合成和真实世界的回归实验中展示了我们方法的有效性，证明近似等变的NP模型可以胜过非等变和严格等变的对应物。

论文探讨了在实际数据建模中，学习问题通常不是完全等变的，而是近似等变的情况下，如何利用现有的等变结构来实现灵活的建模。论文使用神经过程（Neural Processes）作为元学习模型来研究这个问题。

论文提出了一种通用的方法来实现近似等变结构，该方法可以适用于任何对称群和模型结构的选择，并且可以灵活地从精确等变性中脱离。这种方法在神经过程模型中得到应用，实现了比非等变和严格等变模型更好的性能。

论文在多个合成和真实世界的回归实验中证明了近似等变神经过程模型的有效性。论文还提供了开源代码和数据集，方便其他研究人员进行进一步的研究和实验。

近期在这个领域的相关研究包括：《Equivariant Neural Networks》、《Neural Processes》、《Approximating CNNs with Bag-of-local-features models works surprisingly well on ImageNet》等。