OmniSSR: Zero-shot Omnidirectional Image Super-Resolution using Stable Diffusion Model

全方位图像（ODI）在实际视觉任务中广泛使用，高分辨率的ODI有助于提高相关视觉任务的性能。现有的ODI超分辨率方法大多采用端到端学习策略，导致生成的图像真实性较差，并且训练方法缺乏有效的域外泛化能力。扩散模型表示的图像生成方法为视觉任务提供了强有力的先验知识，并已被证明可以有效地应用于图像恢复任务。利用稳定扩散（SD）模型的图像先验知识，我们实现了全方位图像超分辨率，同时保证了保真度和真实性，称为OmniSSR。首先，我们将等距投影（ERP）图像转换为切向投影（TP）图像，其分布近似于平面图像域。然后，我们使用SD来迭代地采样初始高分辨率结果。在每个去噪迭代中，我们进一步使用提出的八面体切向信息交互（OTII）和梯度分解（GD）技术来纠正和更新初始结果，以确保更好的一致性。最后，TP图像被转换回来以获得最终的高分辨率结果。我们的方法是零样本学习的，不需要训练或微调。我们的方法在两个基准数据集上的实验表明了我们提出的方法的有效性。

论文旨在解决如何使用稳定扩散模型提高全向图像超分辨率的真实性和保真度的问题。

论文提出了一种基于稳定扩散模型的全向图像超分辨率方法，使用Octadecaplex Tangent Information Interaction和Gradient Decomposition技术来提高结果的一致性和准确性。该方法是零样本学习，无需训练或微调。

论文采用了稳定扩散模型的先验知识来提高全向图像超分辨率的真实性和保真度，实验结果表明该方法的有效性。论文还使用了两个基准数据集进行实验，并展示了该方法的可行性。

在全向图像超分辨率领域，一些相关研究包括：'Deep Learning-based Omnidirectional Video Super-Resolution with Dynamic Region Attention Network'、'Omnidirectional Image and Video Super-Resolution via Deep Convolutional Networks'、'Omnidirectional Video Super-Resolution with Spatially Aligned Deformable Convolution'等。