Occupancy World Model for Robots

理解和预测场景演化对具身智能体的探索与决策有深远影响。传统方法通过潜在实例的轨迹预测来模拟场景演化，而当前的研究则使用占据世界模型（occupancy world model）作为描述精细整体场景动态的生成框架。然而，现有的方法大多集中于室外结构化道路场景，而忽略了室内场景中机器人占据场景演化的预测探索。在本工作中，我们提出了一种新的框架，用于学习观测到的精细占据场景的演化，并提出了一种结合时空感受野和引导自回归变换器的占据世界模型，称为 RoboOccWorld，以预测场景演化。我们提出了条件因果状态注意力（Conditional Causal State Attention, CCSA），该方法利用下一状态的相机姿态作为条件，指导自回归变换器适应并理解室内机器人场景。为了有效利用历史观测中的时空线索，我们还提出了混合时空聚合（Hybrid Spatio-Temporal Aggregation, HSTA），通过多尺度时空窗口获得综合的时空感受野。此外，我们基于局部标注重构了 OccWorld-ScanNet 基准数据集，以促进对室内 3D 占据场景演化预测任务的评估。实验结果表明，我们的 RoboOccWorld 在室内 3D 占据场景演化预测任务中优于现有最佳方法。代码将很快开源。

该论文试图解决室内场景中3D占用场景演化预测的问题。与传统方法主要关注室外结构化道路场景不同，本文将研究重点放在机器人在室内场景中的3D占用演化预测上，这是一个相对较少被探索的新问题。

论文提出了一种名为RoboOccWorld的新框架，结合了混合时空聚合（HSTA）和条件因果状态注意力（CCSA）机制。HSTA通过多尺度时空窗口提取历史观测的时空特征，而CCSA利用下一时刻相机姿态作为条件指导自回归Transformer模型，以适应和理解复杂的室内机器人场景。相比现有工作，该框架更专注于细粒度的室内3D占用演化预测，而非传统的轨迹预测或室外场景建模。

论文设计了详细的实验来验证模型性能，并在重新构建的OccWorld-ScanNet基准数据集上进行了评估。结果表明，RoboOccWorld在室内3D占用场景演化预测任务中显著优于现有方法。此外，作者计划开源代码，这将有助于后续研究者进一步探索和改进。未来值得深入研究的方向包括如何扩展到更大规模的动态场景以及与其他感知模块的集成。

近期相关研究包括：1) 使用生成模型进行室外场景的占用预测（如EgoVLP和OccupancyFlow）；2) 结合Transformer架构进行轨迹预测的工作（如MTP和Trajectron++）；3) 基于SLAM或语义分割的室内场景建模（如SemanticKITTI和SceneNet）。这些研究大多聚焦于特定场景或单一任务，而本文则尝试将Transformer与时空特征聚合结合，应用于细粒度的室内场景预测。