WORLDMEM: Long-term Consistent World Simulation with Memory

世界模拟因其能够建模虚拟环境并预测行动后果的能力而越来越受到关注。然而，由于时间上下文窗口的限制，往往难以维持长期一致性，尤其是在保持三维空间一致性方面。在本工作中，我们提出了WorldMem框架，该框架通过包含记忆单元的记忆库来增强场景生成能力，这些记忆单元存储记忆帧及其状态（例如姿态和时间戳）。通过采用一种记忆注意力机制，我们的方法能够根据这些记忆帧的状态有效提取相关信息，从而即使在显著的视角变化或时间间隔下，也能准确重建之前观察到的场景。此外，通过将时间戳纳入状态中，我们的框架不仅能够建模静态世界，还能捕捉其随时间的动态演变，从而实现模拟世界中的感知与交互功能。大量在虚拟和真实场景中的实验验证了我们方法的有效性。

论文试图解决世界模拟中长期一致性（特别是3D空间一致性）难以维持的问题，尤其是在长时间或视角变化较大的情况下。这是一个现有研究中的常见问题，但该论文专注于通过记忆机制来改善这一缺陷。

关键思路是引入WorldMem框架，利用带有时间戳的记忆单元存储场景信息，并通过注意力机制从这些记忆单元中提取相关信息以重建场景。相比现有方法，该框架不仅能够处理静态场景，还能捕捉动态世界的演变过程。

论文设计了虚拟和真实场景的实验验证其有效性；使用了多个数据集进行测试（具体数据集未提及，但包括虚拟与现实环境）；代码是否开源未明确说明。值得关注的是，该方法在显著视角或时间间隔下的场景重建能力，以及对动态世界建模的扩展性。未来可进一步探索更大规模场景或更复杂交互的支持。

相关研究包括基于神经辐射场（NeRF）的场景重建、长期一致性建模（如Long-term Consistency in Dynamic Scenes）、动态场景表示学习（Dynamic Scene Representation Learning），以及结合记忆网络的时间序列预测（Temporal Memory Networks for Video Prediction）。