Goku: Flow Based Video Generative Foundation Models

本文介绍了Goku，这是一组最先进的联合图像和视频生成模型，利用修正流Transformer实现了行业领先的性能。我们详细描述了实现高质量视觉生成的基础要素，包括数据整理管道、模型架构设计、流公式以及用于高效且稳健的大规模训练的先进基础设施。Goku模型在定性和定量评估中均表现出色，为各大任务设定了新的基准。具体而言，在文本到图像生成任务中，Goku在GenEval上得分为0.76，在DPG-Bench上得分为83.65；而在文本到视频任务中，在VBench上的得分为84.85。我们认为，这项工作为研究社区在开发联合图像和视频生成模型方面提供了宝贵的经验和实际进展。

该论文试图解决联合图像和视频生成模型的问题，旨在提高基于文本生成高质量图像和视频的能力。这是一个持续发展的研究领域，但Goku模型在性能上达到了新的高度，特别是在大规模数据处理和生成质量方面。

关键思路在于使用了rectified flow Transformers的模型架构，这使得Goku能够在图像和视频生成任务中实现行业领先的性能。相比现有模型，Goku通过优化的数据管道、创新的模型设计和高效的训练基础设施，显著提升了生成内容的质量和多样性。

论文的亮点包括：1) 在GenEval、DPG-Bench和VBench等基准测试中取得了优异的成绩；2) 详细的实验设计验证了模型的有效性；3) 使用了大规模且精心策划的数据集来训练模型；4) 提供了开源代码，方便其他研究人员复现和进一步改进。未来的研究可以集中在如何进一步提升生成内容的真实性和互动性。

最近的相关研究包括：《DALL-E 2: Creating Images from Text》、《Imagen Video: High Definition Video Generation with Diffusion Models》、《Make-A-Video: Robust Text-to-Video Generation via Prompt-Based Distillation》等。这些研究都在探索文本到图像或视频生成的不同方法和技术路径。