A Survey on Compositional Learning of AI Models: Theoretical and Experimetnal Practices

组合学习是人类认知中至关重要的能力，特别是在人类语言理解和视觉感知方面，它掌握了将基本概念组合成更复杂概念的能力。这个概念与未观察到的情况的泛化密切相关。尽管组合学习在智能中起着至关重要的作用，但缺乏系统的理论和实验研究方法，这使得分析计算模型的组合学习能力变得困难。在本文中，我们调查了AI模型的组合学习和与认知研究的联系的文献。我们确定了认知和语言研究中组合性的抽象概念，并将其与语言和视觉模型在组合推理中面临的计算挑战联系起来。我们概述了形式定义、任务、评估基准、各种计算模型和理论发现。我们涵盖了关于大型语言模型的现代研究，以深入了解最先进的AI模型展示的切实的组合能力，并确定未来研究的重要方向。

本论文旨在研究和探讨计算模型中的组合学习能力，并将其与认知研究联系起来，以更好地理解人类智能的组合学习能力。同时，论文也试图提出一些未来研究的方向。

论文概述了组合学习的概念和相关的认知和语言学研究，并讨论了计算模型在组合推理方面所面临的挑战。论文还介绍了现代大型语言模型的组合能力，并提出了一些未来研究的方向。

论文介绍了组合学习的概念和相关研究，讨论了计算模型在组合推理方面所面临的挑战。论文还介绍了现代大型语言模型的组合能力，并提出了一些未来研究的方向。实验使用了多个数据集和评估基准，并提供了一些开源代码。

最近的相关研究包括：《Neural Compositional Denotational Semantics for Question Answering》、《Compositional Learning of Embeddings for Relation Paths in Knowledge Bases and Text》、《A Review of Relational Machine Learning for Knowledge Graphs》等。