E.T. the Exceptional Trajectories: Text-to-camera-trajectory generation with character awareness

电影中的故事和情感是通过深思熟虑的导演决策产生的，尤其是通过相机的摆放和移动来实现。即使对于熟练的艺术家来说，创造引人入胜的相机轨迹仍然是一个复杂的迭代过程。为了解决这个问题，本文提出了一个名为“特殊轨迹（E.T.）”的数据集，其中包括相机轨迹、角色信息和文本标题，涵盖了相机和角色的描述。据我们所知，这是这种数据集中的第一个。为了展示E.T.数据集的潜在应用，我们提出了一种名为DIRECTOR的基于扩散的方法，该方法可以从描述相机和角色之间关系和同步的文本标题中生成复杂的相机轨迹。为了确保稳健和准确的评估，我们在E.T.数据集上进行了训练，使用对比语言-轨迹嵌入来进行评估度量。我们认为，我们提出的数据集和方法显著推动了电影摄影的民主化，使其更容易被普通用户所掌握。

本文旨在提出一个新的数据集ET和一个基于扩散的方法DIRECTOR，以生成电影中的复杂相机轨迹。该方法的目标是使电影制作更加民主化，让普通用户也能够轻松制作高质量的电影。

该论文提出了一个新的数据集ET，其中包括相机轨迹、角色信息和文本标题，用于生成电影中的复杂相机轨迹。此外，该论文还提出了一个名为DIRECTOR的扩散方法，可以根据文本标题生成相机轨迹。

该论文的亮点在于提出了一个新的数据集ET，这是第一个包含相机轨迹、角色信息和文本标题的数据集。此外，该论文还提出了一个名为DIRECTOR的扩散方法，可以根据文本标题生成相机轨迹。为了保证评估的准确性，该论文还使用了一个名为CLaTr的对比语言-轨迹嵌入来评估。

在最近的相关研究中，也有一些关于电影制作的研究。例如，一些研究探讨了如何使用机器学习来自动化电影制作过程，另一些研究则关注于电影中的情感分析和情感识别。