OmniCam: Unified Multimodal Video Generation via Camera Control

通过改变相机位置和姿态以实现多样视觉效果的相机控制，已经引起了广泛关注。然而，现有的方法面临着交互复杂和控制能力有限等挑战。为了解决这些问题，我们提出了 OmniCam，一个统一的多模态相机控制框架。OmniCam 借助大规模语言模型和视频扩散模型，生成时空一致的视频。它支持多种输入模态的组合：用户可以提供带有期望轨迹的文本或视频作为相机路径引导，同时提供图像或视频作为内容参考，从而实现对相机运动的精确控制。为了促进 OmniCam 的训练，我们引入了 OmniTr 数据集，其中包含大量高质量的长序列轨迹、视频及其对应的描述。实验结果表明，我们的模型在各种指标上均实现了高质量相机控制视频生成的最先进性能。

论文试图解决现有相机控制方法中存在的复杂交互和有限控制能力的问题，尤其是生成高质量、时空一致的视频时面临的挑战。这是一个在多模态相机控制领域的重要问题，但通过结合语言模型和扩散模型的方式提供了一种新的解决思路。

论文提出了一种名为OmniCam的统一多模态相机控制框架，利用大型语言模型和视频扩散模型生成高质量的时空一致视频。其关键新意在于支持多种输入模态（如文本、图像、视频和轨迹）的组合，从而实现对相机运动的精确控制，并引入了包含大量长序列轨迹、视频和描述的OmniTr数据集以支持训练。

1. OmniCam能够处理多种输入模态，提升了用户对相机运动的控制灵活性；2. 引入了高质量的OmniTr数据集，为类似研究提供了丰富的资源；3. 实验结果表明，该模型在多个评估指标上达到了当前最佳性能；4. 论文提到的数据集和模型架构可能为未来的研究提供基础，例如更复杂的场景生成或实时相机控制；5. 尚未明确是否开源代码，但这可能是后续工作的重点。

最近的相关研究包括：1. 使用条件扩散模型生成可控视频的方法（如Text2Video-Zero, Video Diffusion Models）；2. 基于文本指导的相机路径生成技术（如NeRF-based Camera Control）；3. 多模态输入的视频生成（如Make-A-Video, Imagic）。相关论文标题如《Text2Video-Zero: Zero-Shot Text-to-Video Generation》、《Video Diffusion Models》等。