LTX-Video: Realtime Video Latent Diffusion

我们介绍了LTX-Video，这是一种基于变压器的潜在扩散模型，采用整体方法生成视频，通过无缝集成Video-VAE和去噪变压器的责任。与现有方法不同，这些组件通常被视为独立的部分，而LTX-Video旨在优化它们之间的互动，以提高效率和质量。其核心是一个精心设计的Video-VAE，实现了1:192的高压缩比，每个token的空间时间降尺度为32 x 32 x 8像素，这通过将分块操作从变压器输入移至VAE输入实现。在这种高度压缩的潜在空间中运行使变压器能够高效地执行全空间时间自注意力机制，这对于生成具有时间一致性的高分辨率视频至关重要。然而，高压缩本身限制了细节的表示。为了解决这个问题，我们的VAE解码器不仅负责潜在到像素的转换，还承担最终的去噪步骤，在像素空间中直接生成干净的结果。这种方法保留了生成精细细节的能力，同时避免了单独上采样模块带来的运行时成本。我们的模型支持多种应用场景，包括文本到视频和图像到视频的生成，并且这两种能力是同时训练的。它实现了超过实时的生成速度，在Nvidia H100 GPU上仅需2秒即可生成5秒、分辨率为768x512、帧率为24 fps的视频，超越了所有类似规模的现有模型。源代码和预训练模型均已公开，为可访问性和可扩展的视频生成设定了新的基准。

LTX-Video试图解决视频生成中的效率与质量之间的平衡问题，特别是在高分辨率和长时间视频生成方面。这是一个持续研究的问题，但LTX-Video通过整合Video-VAE和denoising transformer的功能，提出了新的解决方案。

关键思路在于采用一种整体性的方法，将Video-VAE和denoising transformer的功能无缝集成，优化两者之间的交互。LTX-Video通过高度压缩的潜在空间（1:192压缩比）来实现高效的全时空自注意力机制，同时通过VAE解码器处理最终的去噪步骤以保留细节。这种方法不仅提高了生成效率，还保持了视频的质量。

论文的亮点包括：1) 实现了更快-than-real-time的视频生成速度；2) 支持文本到视频和图像到视频的多模态生成任务；3) 在Nvidia H100 GPU上展示了出色的性能，生成5秒24 fps、768x512分辨率的视频仅需2秒；4) 提供了开源代码和预训练模型，便于后续研究和应用开发。未来可以进一步探索更高效的时间一致性算法和更高分辨率的视频生成。

最近的相关研究包括：1) 使用扩散模型进行视频生成的研究，如'Video Diffusion Models'；2) 结合VAE和Transformer的其他尝试，如'Spatio-Temporal VAE-GAN for Video Prediction'；3) 针对多模态生成任务的改进，如'Multi-modal Video Generation with Unified Transformers'。这些研究都致力于提高视频生成的质量和效率，而LTX-Video则在这些基础上进一步优化了模型架构和压缩技术。