Generative Panoramic Image Stitching

我们提出了生成式全景图像拼接任务，其目标是生成无缝的全景图，忠实地呈现包含视差效应以及光照、拍摄参数或风格存在显著差异的多张参考图像中的内容。在这一具有挑战性的场景下，传统的图像拼接流程会失效，生成的结果常常出现重影和其他伪影。尽管最近的一些生成模型能够生成与多张参考图像内容一致的扩展区域，但在需要合成全景图中大面积连贯区域的任务中表现不佳。为克服这些局限性，我们提出了一种方法，通过微调基于扩散模型的图像修复模型，使其能够根据多张参考图像保留场景的内容和布局。模型微调完成后，只需一张参考图像即可生成完整的全景图，输出结果无缝且视觉连贯，忠实融合了所有参考图像中的内容。在实际采集的数据集上的评估结果显示，我们的方法在图像质量以及图像结构和场景布局的一致性方面，相较于基线方法有显著提升。

论文试图解决生成式全景图像拼接的问题，即如何在存在视差效应和光照、相机设置或风格剧烈变化的情况下，从多张参考图像中合成无缝且内容一致的全景图。这是一个具有挑战性的问题，因为传统图像拼接方法在这种情况下通常会失败，产生重影和其他伪影。

论文的关键思路是提出一种基于扩散模型的修复方法，通过对扩散模型进行微调，使其能够根据多个参考图像保留场景的内容和布局。该方法利用单张图像作为输入即可生成完整的全景图，并融合所有参考图像的内容，从而避免传统方法和现有生成模型在处理大范围拼接时的局限性。

1. 提出了一种新的生成式全景拼接框架，解决了传统方法在视差、光照变化下的问题 2. 通过微调扩散模型实现基于多参考图像的内容保持与全景外绘 3. 实验结果显示其在图像质量、结构一致性方面优于基线方法 4. 使用了真实拍摄的数据集进行评估，证明了方法的有效性和实用性 5. 值得进一步研究的方向包括提升模型泛化能力、优化计算效率

1. Image Stitching: A Review of Feature-Based, Deep Learning-Based and Large-Scale Methods 2. Deep Image Blending Using Multi-level Contextual Networks 3. Flow-based Image Restoration for Panoramic Stitching 4. Panoramic View Synthesis with Transformers 5. Parallax-tolerant Image Stitching via Semantic-aware Alignment