Emu3: Next-Token Prediction is All You Need

本文介绍了Emu3，这是一个全新的多模态模型套件，仅通过下一个标记的预测进行训练。通过将图像、文本和视频标记化为离散空间，我们从头开始训练了一个单一的转换器，用于混合多模态序列。Emu3在生成和感知任务中优于几个知名的任务特定模型，超越了旗舰模型如SDXL和LLaVA-1.6，同时消除了扩散或组合架构的需要。Emu3还能够通过预测视频序列中的下一个标记生成高保真度的视频。我们通过收敛于一个单一的重点——标记，简化了复杂的多模态模型设计，释放了在训练和推理过程中扩展的巨大潜力。我们的结果表明，下一个标记的预测是构建超越语言的通用多模态智能的一个有前途的路径。我们开源了关键技术和模型，以支持进一步的研究。

本论文旨在探索使用下一个标记预测作为构建多模态智能的一种新方法，以取代扩散模型和组合方法。

本文介绍了Emu3，这是一个基于下一个标记预测训练的全新多模态模型套件。通过将图像、文本和视频标记化为离散空间，我们在多模态序列的混合物上从头开始训练单个Transformer。Emu3在生成和感知任务中优于几个知名的任务特定模型，超越了旗舰模型，例如SDXL和LLaVA-1.6，同时消除了扩散或组合架构的需求。Emu3还能够通过预测视频序列中的下一个标记来生成高保真度的视频。我们简化了复杂的多模态模型设计，聚焦于一个单一的重点：标记，从而释放了在训练和推断过程中扩展的巨大潜力。我们开源了关键技术和模型，以支持在这个方向上的进一步研究。

本论文的亮点包括使用下一个标记预测作为构建多模态智能的新方法、提出了Emu3模型套件、在生成和感知任务中优于几个任务特定模型、能够生成高保真度的视频、简化了复杂的多模态模型设计、开源了关键技术和模型。实验使用了多种数据集，并提供了开源代码。

最近在这个领域中，一些相关研究包括Stable Diffusion和CLIP结合LLMs等扩散模型和组合方法，以及其他多模态模型的研究。