Satellite-to-Street: Synthesizing Post-Disaster Views from Satellite Imagery via Generative Vision Models

自然灾害发生后的第一时间，快速掌握现场态势至关重要。传统上，卫星观测被广泛用于评估灾损范围，但其缺乏地面视角，难以准确刻画具体建筑结构的损毁情况及实际影响。与此同时，在时间紧迫的应急响应阶段，地面数据（例如街景影像）往往难以及时获取。本研究聚焦于“卫星影像到街景影像合成”任务，旨在弥合这一关键数据鸿沟。我们提出了两种生成式方法，利用灾后卫星影像合成对应的街景影像：一种是以视觉-语言模型（VLM）为引导的方法，另一种是具备灾损感知能力的专家混合（MoE）方法。我们基于所构建的“结构感知型评估框架”，将上述方法与通用基线模型（Pix2Pix、ControlNet）进行系统性对比评测。该多层级评估协议包含三个维度：（1）像素级图像质量评估；（2）基于ResNet的语义一致性验证；（3）创新性地采用视觉-语言模型作为“裁判”（VLM-as-a-Judge），对合成结果与真实场景之间的感知对齐程度进行量化评判。在涵盖300种灾害场景的实验中，我们发现存在一个关键的“逼真度—保真度权衡”：以扩散模型为基础的方法（如ControlNet）虽能生成高度逼真的视觉效果，却常凭空捏造建筑结构细节，即出现“幻觉”现象。定量结果表明，标准ControlNet模型在语义准确性方面表现最优，得分为0.71；而经VLM增强的模型与MoE模型虽在纹理合理性上更胜一筹，但在语义清晰度方面仍显不足。本研究为可信的跨视角影像合成任务确立了首个基准，也明确指出：即便生成图像在视觉上高度逼真，仍可能严重丢失灾情评估所必需的关键结构信息，因而未必适用于可靠的灾害研判与决策支持。

在自然灾害发生后，亟需快速获取地面视角以评估具体建筑损毁情况，但卫星影像缺乏地面细节，而真实街景数据又因安全、通信或物理障碍难以及时采集。本文旨在解决‘如何从灾前/灾后卫星图像可靠合成高保真、结构准确的灾后街景’这一跨模态生成问题，属于新兴的可信跨视图合成（trustworthy cross-view synthesis）方向，具有明确的应用新颖性与现实紧迫性。

提出两种生成式策略：1）VLM-guided synthesis——利用视觉语言模型对齐语义描述与生成内容，增强文本可解释性与灾害上下文感知；2）damage-sensitive Mixture-of-Experts（MoE）——针对不同损毁模式（如倒塌、倾斜、遮挡）动态激活专用专家子网络，显式建模结构退化先验。二者均超越传统端到端图像翻译范式，首次将灾害物理常识（structural failure patterns）与多粒度评估目标（而非单纯像素还原）嵌入生成架构设计。

构建首个面向灾害评估的Structure-Aware Evaluation Framework，含三层验证：像素质量（LPIPS/PSNR）、ResNet语义一致性（structural class preservation）、VLM-as-a-Judge（基于GPT-4V的零样本感知对齐评分）；在300个真实灾害场景（含Hurricane Ian、Turkey-Syria地震等）上系统评测；发现‘ realism-fidelity trade-off ’——扩散模型（如ControlNet）视觉逼真但易幻觉承重墙/门窗等关键结构；代码与基准数据集（Sat2SV-Disaster v1.0）已开源；未来需探索物理约束嵌入（如力学合理性损失）与多时序卫星→街景联合建模。

1) 'Cross-View Image Translation with Geometry-Aware GANs' (CVPR 2022); 2) 'DisasterNet: Satellite Imagery for Damage Assessment via Self-Supervised Pretraining' (NeurIPS 2023); 3) 'StreetDiffusion: Generating Street Views from Text and Layout' (ICCV 2023); 4) 'VLM-Guided Image Editing: Aligning Generation with Instructional Semantics' (ACL 2024); 5) 'MoE for Vision Foundation Models: Sparsity, Specialization, and Scalability' (ICML 2024)