Text-Animator: Controllable Visual Text Video Generation

视频生成是各行业中具有挑战性而又至关重要的任务，例如游戏、电子商务和广告。在T2V中，一个重要的未解决问题是如何有效地将文本可视化到生成的视频中。尽管在文本到视频（T2V）生成方面已经取得了进展，但当前的方法仍然不能直接有效地将文本可视化到视频中，因为它们主要关注总结语义场景信息、理解和描绘动作。虽然图像级别的视觉文本生成最近取得了进展，但将这些技术转化到视频领域面临着问题，尤其是在保留文本保真度和动作连贯性方面。在本文中，我们提出了一种创新的方法，称为Text-Animator，用于视觉文本视频生成。Text-Animator包含一个文本嵌入注入模块，以精确地描述在生成的视频中的视觉文本的结构。此外，我们还开发了一个相机控制模块和一个文本细化模块，通过控制相机移动和可视化文本的运动来提高生成的视觉文本的稳定性。定量和定性实验结果表明，我们的方法在生成的视觉文本的准确性方面优于最先进的视频生成方法。项目页面可在https://laulampaul.github.io/text-animator.html找到。

本文旨在解决文本到视频生成中的一个关键问题：如何有效地在生成的视频中可视化文本？

本文提出了一种名为Text-Animator的创新方法，其中包含文本嵌入注入模块、相机控制模块和文本细化模块，以提高生成的视觉文本的准确性和稳定性。

本文的实验结果表明，与现有的视频生成方法相比，Text-Animator的生成文本准确性更高。此外，本文还提供了项目页面和开源代码。

在这个领域的相关研究包括：1. Learning to Generate Textured 3D Mesh Models for Video Sequences; 2. High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs; 3. Video Generation from Text; 4. Text-to-Image Generation with Generative Adversarial Networks。