Parallax-tolerant Image Stitching via Segmentation-guided Multi-homography Warping

大视差是图像拼接中一个难以解决的问题。虽然已经提出了各种基于变形的方法来解决这个问题，但结果仍然不尽如人意。本文提出了一种新颖的图像拼接方法，使用由图像分割引导的多单应性变形。具体来说，我们利用“Segment Anything Model”将目标图像分割成许多内容，并通过基于能量的多单应性拟合算法将特征点划分为多个子集。多个子集的特征点用于计算相应的多个单应性变换。对于重叠区域中的每个分割内容，我们选择其最佳拟合单应性变换以获得最低的光度误差。对于非重叠区域中的每个分割内容，我们计算线性化单应性变换的加权组合。最后，目标图像通过最佳拟合单应性变换进行变形以与参考图像对齐，并通过线性混合生成最终全景图。公共数据集上的全面实验结果表明，与现有方法相比，我们的方法提供了最佳的对齐精度。源代码可在 https://github.com/tlliao/multi-homo-warp 上获得。

本论文旨在解决图像拼接中大视差问题，提出了一种基于图像分割引导的多单应性变换方法。

论文采用Segment Anything Model对目标图像进行分割，将特征点分成多个子集，并使用能量优化的多单应性拟合算法计算对应的多个单应性矩阵。在重叠区域中，选择最佳拟合误差最小的单应性矩阵进行变换，对于非重叠区域中的每个分割内容，计算线性化单应性矩阵的加权组合。最终通过线性混合生成全景图像。

论文的实验结果表明，相比于现有的方法，本文提出的方法具有更好的对齐精度。该方法使用了公共数据集进行全面的实验验证，并提供了开源代码。值得深入研究的是，如何在更复杂的场景下进一步提高该方法的性能。

在这个领域中，最近的相关研究包括：《Image Stitching Using Multiple Descriptors and Multiple Homographies》、《Robust Image Stitching with Multiple Exposures》、《A Hybrid Approach to Image Stitching Using Projective and Euclidean Invariance》等。