The Platonic Representation Hypothesis

我们认为，人工智能模型中的表示，特别是深度网络中的表示，正在趋于一致。首先，我们在文献中调查了许多趋同的例子：随着时间的推移和跨多个领域，不同神经网络表示数据的方式越来越趋同。接下来，我们证明了跨数据模态的趋同性：随着视觉模型和语言模型越来越大，它们以越来越相似的方式测量数据点之间的距离。我们假设这种趋同性正在朝向一个共享的统计现实模型，类似于柏拉图的理念中的理想现实。我们称这样的表示为柏拉图表示，并讨论了几种可能的选择性压力。最后，我们讨论了这些趋势的影响、限制和我们分析的反例。

论文试图解决神经网络表示收敛的问题，即不同神经网络在表示数据时是否越来越相似？

研究发现随着神经网络模型的发展，它们在表示数据时越来越相似，这种趋势被称为神经网络表示收敛。论文提出了一个假设，即这种收敛趋势是朝着一种共享的统计模型的方向发展，类似于柏拉图理想现实的概念。

论文通过多个领域的实例证明了神经网络表示收敛的现象，并展示了跨数据模态的收敛。研究人员提出了一个新的概念——柏拉图表示，它是对真实世界的一个共享的理论模型。论文还探讨了这种趋势的局限性和反例。

最近在这个领域中，还有一些相关的研究，如《Representation Learning: A Review and New Perspectives》、《Understanding deep learning requires rethinking generalization》等。