The Platonic Representation Hypothesis

我们认为人工智能模型中的表示，尤其是深度网络中的表示正在趋于一致。首先，我们在文献中调查了许多收敛的例子：随着时间的推移和跨越多个领域，不同神经网络表示数据的方式越来越趋于一致。接下来，我们展示了跨数据模态的收敛性：随着视觉模型和语言模型变得越来越大，它们测量数据点之间的距离的方式也越来越相似。我们假设这种收敛趋势是朝着一个共享的统计现实模型的方向发展的，类似于柏拉图的理念中的理想现实。我们将这样的表示称为柏拉图表示，并讨论了几种可能的选择压力。最后，我们讨论了这些趋势的影响、局限性以及我们分析的反例。

探讨人工智能模型中的表示是否正在趋同，是否正在朝着某种共享的理想现实的统计模型发展？

通过文献调研和实验证明，随着时间的推移和跨多个领域，不同的神经网络对数据的表示方式越来越趋同。同时，随着视觉模型和语言模型的不断扩大，它们在测量数据点之间的距离方面也越来越相似，这种趋同趋势正在朝着共享统计模型的方向发展。

论文提出了“柏拉图式表示”的概念，并讨论了导致这种表示出现的可能的选择压力。此外，还探讨了这些趋势的影响、局限性以及与我们分析相反的例子。

最近的相关研究包括：《Deep Double Descent: Where Bigger Models and More Data Hurt》、《On the Transfer of Inductive Bias from Simulation to the Real World: A New Disentanglement Dataset》等。