ReWiTe: Realistic Wide-angle and Telephoto Dual Camera Fusion Dataset via Beam Splitter Camera Rig

最近，双摄像头系统中广角和长焦摄像头图像的融合已成为热点问题。通过同时整合这些系统中捕获的广角和长焦图像，所得到的融合图像具有宽广的视野范围和高清晰度。现有的方法主要是深度学习方法，主要依赖于有监督学习，其中训练数据集起着关键作用。然而，当前的数据集通常采用数据合成方法，生成广角和长焦图像的输入对以及相应的真实图像。值得注意的是，广角输入是合成的，而不是使用真实的广角相机拍摄的，而真实图像是由广角相机拍摄的，其质量明显低于由长焦相机拍摄的输入长焦图像。为了解决这些限制，我们引入了一种新的硬件设置，利用分光棱镜同时从两个真实手机配备的广角和长焦双摄像头中捕获三张图像，即输入对和真实图像。具体而言，手机2捕获的广角和长焦图像作为输入对，而经过校准以匹配手机2广角图像光学路径的手机1的长焦图像作为真实图像，保持与输入长焦图像相同的质量。实验证实了我们新引入的数据集的有效性，名为ReWiTe，显着提高了各种现有方法在真实世界中的广角和长焦双图像融合任务的性能。

本论文旨在解决双摄像头系统图像融合中的问题，通过同时捕获两个真实手机上的宽角和长焦图像，以及一个匹配宽角图像光学路径的长焦图像作为ground-truth图像，提出了一种新的数据集ReWiTe，并验证了其在真实世界宽角和长焦图像融合任务中的有效性。

论文的关键思路是通过使用一个新的硬件设置，即使用一个分光镜同时捕获三张图像，即输入对和ground-truth图像，从而提高真实世界宽角和长焦图像融合任务的性能。

值得关注的亮点包括：使用真实的宽角图像而非合成的图像，使用匹配宽角图像光学路径的长焦图像作为ground-truth图像，提出了一个新的数据集ReWiTe，并验证了其有效性。实验结果表明，该方法在真实世界中的宽角和长焦图像融合任务中具有较高的性能。论文还提供了开源代码。

与本论文相关的研究包括使用深度学习方法解决宽角和长焦图像融合问题的论文，这些论文主要依赖于监督学习，使用合成数据集进行训练。例如，Deep Dual Learning (DDL)和Dual-branch Attention Network with Semantic Enhancement (DAN-SE)等。