The Platonic Representation Hypothesis

我们认为，AI模型中的表示，特别是深度网络中的表示，正在趋于一致。首先，我们在文献中调查了许多收敛的例子：随着时间的推移和跨多个领域，不同神经网络表示数据的方式越来越趋于一致。接下来，我们展示了跨数据模态的收敛：随着视觉模型和语言模型变得更大，它们以越来越相似的方式测量数据点之间的距离。我们假设这种收敛正在朝着一个共享的统计现实模型发展，类似于柏拉图的理念。我们将这样的表示称为柏拉图表示，并讨论了几种可能的选择压力。最后，我们讨论了这些趋势的影响、它们的局限性以及我们分析的反例。

本论文试图探讨AI模型中的表示是否趋于一致，并提出了一种可能的共同的统计模型的假设。

论文提出了AI模型中表示趋于一致的现象，并提出了这种趋势可能是朝着一个共同的统计模型的方向发展的假设。

论文通过调查多个领域内的神经网络模型，证明了表示趋同现象，并探讨了可能驱动这种趋势的选择压力。同时，论文还分析了这种趋势的限制和反例。

在该领域的相关研究包括：《Representation Learning: A Review and New Perspectives》、《A Survey of Deep Learning》等。