Seedance 1.0: Exploring the Boundaries of Video Generation Models

扩散模型领域的显著突破推动了视频生成技术的快速进步，但当前的基础模型在同时平衡提示遵循、动作合理性与视觉质量方面仍面临关键挑战。在本报告中，我们介绍了 Seedance 1.0，这是一款高性能且推理高效的视频基础生成模型，集成了多项核心技术创新：（i）多源数据整理，结合精准且有意义的视频标题生成，支持跨多样化场景的全面学习；（ii）高效架构设计与创新训练范式，能够原生支持多镜头生成，并联合学习文本到视频和图像到视频任务；（iii）经过精心优化的后训练方法，包括细粒度监督微调以及针对视频的多维度奖励机制强化学习（RLHF），以实现整体性能提升；（iv）卓越的模型加速技术，通过多阶段蒸馏策略与系统级优化，实现了约 10 倍的推理速度提升。Seedance 1.0 能够在仅 41.4 秒内（基于 NVIDIA L20 环境）生成一段分辨率为 1080p 的 5 秒视频。相较于最先进的视频生成模型，Seedance 1.0 凭借其高质量与快速生成能力脱颖而出，展现出优秀的时空流畅性与结构稳定性，能够在复杂多主体情境中精确遵循指令，同时具备原生多镜头叙事连贯性与一致的主体表征能力。

论文试图解决当前视频生成模型在同时平衡提示遵循、运动合理性以及视觉质量方面的关键挑战，特别是在多主体复杂场景和多镜头叙事连贯性上的不足。这是一个需要进一步优化的现有问题。

Seedance 1.0 提出了多项技术创新来应对上述挑战：(i) 多源数据整理与精准视频标注，提升模型对多样化场景的学习能力；(ii) 高效架构设计与训练范式，支持多镜头生成及文本/图像到视频任务的联合学习；(iii) 细粒度监督微调与视频特定的强化学习方法（RLHF），结合多维奖励机制优化性能；(iv) 模型加速技术，通过多阶段蒸馏策略实现约10倍推理加速。相比现有研究，该模型强调了更全面的任务适配性和更高的生成效率。

Seedance 1.0 在生成5秒1080p视频时仅需41.4秒（NVIDIA-L20），展现了高效推理能力。实验设计覆盖了多种评估维度，包括时空连贯性、结构稳定性以及复杂场景下的指令遵循能力。此外，模型支持多镜头叙事连贯性，并保持主体一致性。论文未明确提及代码开源状态，但其提出的多维奖励机制和系统级优化值得进一步研究和应用。

近期相关研究包括Make-A-Video、Phenaki和Text-to-Video Diffusion Models等。这些工作同样关注视频生成中的文本对齐、动作流畅性和视觉质量，但较少涉及多镜头叙事连贯性和细粒度优化。例如，《Phenaki: Rethinking Conditional Video Generation》提出基于事件序列的生成方法；《Make-A-Video: Motion Fields for Text-to-Video Generation》则引入运动场以增强动态表现力。Seedance 1.0 在此基础上进一步提升了综合性能和生成效率。