Sora as an AGI World Model? A Complete Survey on Text-to-Video Generation

文本到视频生成标志着生成式人工智能快速发展领域中的一个重要前沿，它整合了文本到图像合成、视频字幕和文本引导编辑的进展。本综述对文本到视频技术的进展进行了批判性的检查，重点关注从传统生成模型到尖端Sora模型的转变，突出了可扩展性和普适性的发展。与之前的研究不同，我们深入探讨了这些模型的技术框架和演化路径。此外，我们还深入探讨了实际应用，并解决了伦理和技术挑战，如无法执行多实体处理、理解因果效应学习、理解物理交互、感知对象缩放和比例以及打击对象幻觉，这也是生成模型中长期存在的问题。我们全面讨论了文本到视频生成模型作为人类辅助工具和世界模型的启用问题，以及揭示模型的缺点并总结未来的改进方向，主要集中在训练数据集和评估指标（自动和以人为中心）。本综述旨在面向初学者和资深研究人员，旨在催化文本到视频生成领域的进一步创新和讨论，为更可靠和实用的生成式人工智能技术铺平道路。

文本到视频生成

介绍了从传统生成模型到Sora模型的发展，重点关注可扩展性和泛化性的提高。同时探讨了模型的实际应用和技术挑战，以及模型的不足之处。

论文深入探讨了技术框架和演化路径，介绍了模型的实际应用和技术挑战，提出了未来改进方向。

最近的相关研究包括：Text-to-Video Generation from a Single Image，Video Generation from Text，Text-to-Video Generation with Coarse-to-Fine Reasoning