SA-Occ: Satellite-Assisted 3D Occupancy Prediction in Real World

现有的基于视觉的3D占用预测方法由于完全依赖街景图像，忽略了融合卫星视图的潜在优势，因此在精度上存在固有限制。我们提出了SA-Occ，首个卫星辅助的3D占用预测模型，该模型通过利用GPS和IMU技术，将历史但 readily available 的卫星图像融入实时应用中，有效缓解了自车感知中的局限性，包括遮挡问题以及远距离区域性能下降的问题。为了解决跨视角感知的核心挑战，我们提出了以下方法：1) 动态解耦融合（Dynamic-Decoupling Fusion），解决了因卫星与街景视图之间时间不同步而导致的动态区域不一致性；2) 3D投影引导模块（3D-Proj Guidance），增强了从本质上为2D的卫星图像中提取3D特征的能力；3) 统一采样对齐（Uniform Sampling Alignment），调整了街景与卫星视图之间的采样密度差异。在Occ3D-nuScenes数据集上的评估表明，SA-Occ在单帧方法中达到了最先进的性能，mIoU达到39.05%（提升了6.97%），同时每帧仅增加了6.93毫秒的额外延迟。我们的代码和新整理的数据集可在https://github.com/chenchen235/SA-Occ 获取。

该论文试图解决基于街景图像的3D占用预测方法在准确性上的固有限制问题，尤其是由于遮挡和远距离区域感知性能下降导致的挑战。这是一个已知但尚未完全解决的问题，而本文通过引入卫星视图来弥补这一缺陷。

论文提出了一种名为SA-Occ（Satellite-Assisted 3D Occupancy Prediction）的新模型，将GPS和IMU数据与历史卫星图像结合到实时应用中。为了应对跨视角感知的核心挑战，作者提出了三个关键模块：1) 动态解耦融合（Dynamic-Decoupling Fusion），解决因时间异步性引起的动态区域不一致问题；2) 3D投影引导（3D-Proj Guidance），从本质上是2D的卫星图像中提取3D特征；3) 统一采样对齐（Uniform Sampling Alignment），调整街景和卫星视图之间的采样密度差异。这种方法相比现有研究首次系统性地整合了卫星视图，显著提升了3D占用预测的准确性。

论文在Occ3D-nuScenes数据集上展示了SA-Occ的卓越性能，特别是在单帧方法中达到了39.05%的mIoU，比现有方法提高了6.97%，同时仅增加了6.93毫秒的延迟。此外，作者开源了代码和新整理的数据集，为后续研究提供了便利。未来值得深入研究的方向包括进一步优化跨模态融合技术以及探索更多类型的辅助数据源（如无人机图像）。

近年来，关于3D占用预测的研究主要集中在基于街景图像的方法，例如《Occupancy Flow: 4D Reconstruction by Learning Particle Dynamics》和《BEVFormer: Spatiotemporal Transformer for Bird's-Eye View Perception》。这些方法虽然取得了显著进展，但仍然受限于遮挡和远距离感知问题。与此同时，也有一些工作尝试利用多模态数据，例如《Fusion of Aerial and Street-Level Imagery for Urban Scene Understanding》，但它们通常专注于语义分割而非占用预测。相比之下，本文提出的SA-Occ更专注于解决动态场景下的时间异步性和特征提取问题。