TesserAct: Learning 4D Embodied World Models

本文提出了一种有效的学习新型4D具身世界模型的方法，该模型能够预测具身智能体动作引发的3D场景随时间的动态演化过程，并同时保证空间和时间上的一致性。我们建议通过训练RGB-DN（RGB、深度和法线）视频来学习4D世界模型。这种方法不仅超越了传统的2D模型，将详细的形状、配置和时间变化纳入预测中，还使我们能够有效地学习准确的逆动力学模型以应用于具身智能体。具体来说，我们首先利用现成的模型为现有的机器人操作视频数据集扩展深度和法线信息。接着，我们在这一带有注释的数据集上微调一个视频生成模型，使其能够联合预测每帧的RGB-DN（RGB、深度和法线）。随后，我们提出了一种算法，可以直接将生成的RGB、深度和法线视频转换为高质量的4D世界场景。我们的方法确保了从具身体验场景中预测出的4D场景在时间和空间上的连贯性，支持具身环境的新视角合成，并显著促进了策略学习，其效果远超基于以往视频的世界模型所衍生的策略。

该论文试图解决如何构建一个能够预测3D场景动态演化的4D世界模型问题，特别是这些演化如何响应一个具身代理（embodied agent）的动作。这是一个相对新颖的问题，因为它不仅关注空间一致性，还强调时间一致性，以及具身环境下的新型视图合成和策略学习。

论文的关键思路是通过训练RGB-DN（RGB、深度和法线）视频生成模型来学习4D世界模型。这种方法超越了传统的2D模型，通过结合详细的形状、配置和时间变化信息，提供更准确的预测。此外，该方法还能有效学习具身代理的逆动力学模型。新意在于利用现成的深度和法线模型扩展现有的机器人操作数据集，并通过微调视频生成模型实现联合预测。

论文设计了一个从生成的RGB、深度和法线视频转换为高质量4D场景的算法，确保时间和空间的一致性。实验使用了扩展后的机器人操作数据集，验证了该方法在具身环境中的新型视图合成和策略学习上的优越性。代码是否开源未明确提及，但未来可以进一步研究如何优化4D场景生成的速度和效率，以及如何将该模型应用于更复杂的现实场景。

近期相关研究包括：1)《Learning to Predict 3D Object Dynamics from Observations》探讨了基于观察预测3D物体动力学；2)《Embodied Visual Navigation in Dynamic Environments》研究了动态环境中的具身体视觉导航；3)《Neural Radiance Fields for Embodied Agents》提出了针对具身代理的神经辐射场方法。这些研究共同推动了具身智能和动态场景建模领域的发展。