Virtual avatar generation models as world navigators

我们介绍了SABR-CLIMB，这是一种新颖的视频模型，使用虚拟化身模拟人在攀岩环境中的运动。我们的扩散变压器在每个扩散步骤中预测样本而不是噪声，并摄取整个视频以输出完整的动作序列。通过利用大型专有数据集NAV-22M和大量的计算资源，我们展示了一个概念验证系统，用于训练通用的虚拟化身进行复杂的机器人、体育和医疗任务。

本论文旨在通过使用虚拟化身模拟人类在攀岩环境中的运动，解决通用虚拟化身训练的难题。该论文试图验证使用扩散变换器预测每个扩散步骤中的样本而不是噪声，并摄入整个视频以输出完整的运动序列的可行性。

论文提出了一种使用扩散变换器和虚拟化身模拟人类在攀岩环境中的运动，以训练通用虚拟化身的方案。

论文使用了一个大型专有数据集NAV-22M和大量计算资源来展示该方案的可行性。该方案有望在机器人、体育和医疗保健等领域训练通用虚拟化身。

最近的相关研究包括使用深度学习模型预测人类运动的研究，如“DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills”和“Learning Agile and Dynamic Motor Skills for Legged Robots”。