Transcendence: Generative Models Can Outperform The Experts That Train Them

生成模型的训练目标非常简单，就是模仿它们所训练的数据所引发的条件概率分布。因此，当生成模型被训练于由人类创造的数据时，我们不能期望人工模型能在原始目标上超越人类。在这项工作中，我们研究了超越现象：即生成模型实现了超越数据生成专家能力的能力。我们通过训练一个自回归变换器从棋谱中下棋来展示超越现象，并且展示出训练出来的模型有时可以比数据集中的所有玩家表现得更好。我们在理论上证明了超越是通过低温采样实现的，并在实验中严格评估了这一点。最后，我们讨论了超越的其他来源，为未来在更广泛的背景下研究这种现象奠定了基础。

探讨生成模型在特定条件下是否能够超越人类专家

使用低温采样训练自回归变换器来玩国际象棋，并证明低温采样是实现超越的关键

实验结果表明，训练出的模型有时能够超越数据集中的所有玩家；论文还讨论了其他可能导致超越的因素，为未来的研究奠定基础

近期的相关研究包括《Generative Models and Model Criticism via Optimized Maximum Mean Discrepancy》、《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》等