The Platonic Representation Hypothesis

我们认为，人工智能模型，特别是深度网络中的表示正在趋于一致。首先，我们在文献中调查了许多收敛的例子：随着时间的推移和跨多个领域，不同的神经网络表示数据的方式越来越趋于一致。接下来，我们展示了跨数据模态的收敛性：随着视觉模型和语言模型变得越来越大，它们测量数据点之间的距离的方式越来越相似。我们假设这种收敛正在朝着一个共享的统计现实模型推进，类似于柏拉图理想现实的概念。我们将这样的表示称为柏拉图表示，并讨论了几种可能的选择压力。最后，我们讨论了这些趋势的影响、局限性以及我们分析的反例。

论文探讨了人工智能模型中的表示是否正在趋同，以及这种趋同是否推向了一种共享的统计模型，作者试图验证这一假设。

作者提出了“柏拉图表示”这一概念，认为随着深度学习模型的发展，不同的神经网络对数据的表示方式越来越趋同，这种趋同是向着一种共享的统计模型推进的。作者探讨了这种表示的可能的选择性压力，并讨论了这种趋势的影响和局限性。

论文介绍了许多文献中的例子来证明表示的趋同性，还展示了不同数据模态之间的趋同性。作者提出的“柏拉图表示”这一概念是该论文的一个重要亮点，值得进一步研究。作者还讨论了这种表示的限制和反例。

最近在这个领域中，还有一些相关的研究，例如“Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks”和“On the Spectral Bias of Neural Networks”。