AesopAgent: Agent-driven Evolutionary System on Story-to-Video Production

最近，代理技术和人工智能生成内容技术取得了显著进展。我们提出了AesopAgent，一种基于代理技术的故事到视频制作的进化系统。AesopAgent是代理技术在多模态内容生成方面的实际应用。该系统将多种生成能力集成在一个统一的框架中，使个人用户可以轻松地利用这些模块。这个创新系统将用户的故事提案转化为脚本、图像和音频，然后将这些多模态内容集成到视频中。此外，动画单元（例如Gen-2和Sora）可以使视频更具感染力。AesopAgent系统可以协调视频生成的任务工作流程，确保生成的视频内容丰富且连贯。该系统主要包含两个层次，即水平层和实用层。在水平层，我们引入了一种基于RAG的创新进化系统，它优化整个视频生成工作流程和工作流程中的步骤。通过积累专家经验和专业知识，包括优化LLM提示和实用程序的使用，它不断演化和迭代优化工作流程。实用层提供多种实用程序，导致一致的图像生成，在构图、角色和风格方面视觉上连贯。同时，它提供音频和特效，将它们集成到表现力强、逻辑排列的视频中。总体而言，我们的AesopAgent在视觉叙事方面的表现达到了最先进的水平。我们的AesopAgent旨在为个人用户提供方便的服务，可在以下网页上使用：https://aesopai.github.io/。

论文提出了AesopAgent，一个基于代理技术的演化系统，旨在将用户的故事提案转化为脚本、图像、音频，并将这些多模态内容集成到视频中。该系统旨在解决视频生成过程中的一些挑战，例如内容丰富性和逻辑连贯性。

AesopAgent系统包含水平层和实用层，水平层使用基于RAG的演化系统来优化整个视频生成工作流程和步骤，而实用层提供多种实用程序，以确保视频生成的视觉连贯性和音频一致性。该系统的创新之处在于将多种生成能力融合到一个统一的框架中，方便用户使用。

论文介绍了AesopAgent系统的设计和实现，包括水平层和实用层的详细说明。实验结果表明，AesopAgent系统在视觉叙事方面表现出色，比以前的工作更具优势。该系统还提供了方便的个人用户服务，并可在https://aesopai.github.io/上获得。

在最近的相关研究中，也有一些关于视频生成的工作，例如“Generative Adversarial Networks for Video Generation and Compressed Video Action Recognition”和“Video Generation from Text”等。