Dual-Camera Smooth Zoom on Mobile Phones

在移动设备的双摄像头切换时，预览中会出现明显的几何内容和图像颜色跳跃，这必然会影响用户的缩放体验。在这项工作中，我们引入了一个新的任务，即双摄平滑缩放（DCSZ），以实现平滑的缩放预览。帧插值（FI）技术是一个潜在的解决方案，但是它在收集真实数据时存在困难。为了解决这个问题，我们提出了一个数据工厂解决方案，通过渲染场景的重建3D模型，组装连续的虚拟摄像机来生成DCSZ数据。特别地，我们提出了一种新颖的双摄平滑缩放高斯光斑（ZoomGS）方法，其中引入了相机特定的编码来构建每个虚拟摄像机的特定3D模型。通过我们提出的数据工厂，我们构建了一个DCSZ的合成数据集，并利用它来微调FI模型。此外，我们收集了没有真实数据的双缩放图像进行评估。我们使用多种FI方法进行了广泛的实验。结果表明，微调后的FI模型在DCSZ任务上比原始模型有显著的性能提升。数据集、代码和预训练模型将公开提供。

解决问题：论文提出了一个新的任务，即双摄平滑缩放（DCSZ），旨在解决移动设备双摄像头在缩放过程中出现的几何内容和图像颜色跳跃的问题。同时，论文也探讨了如何解决数据收集难题。

关键思路：论文提出了一种数据工厂解决方案，通过渲染重建的场景3D模型来生成DCSZ数据。同时，论文还提出了一种新的双摄平滑缩放高斯喷洒方法（ZoomGS），通过引入特定的相机编码来构建每个虚拟相机的特定3D模型。利用构建的合成数据集，论文对多种帧插值方法进行了实验，提出了一种fine-tune方法，可以显著提高FI模型在DCSZ任务上的性能。

其他亮点：论文提供了一个数据工厂解决数据收集难题；论文构建了一个合成数据集，fine-tune了多种FI模型，并在真实世界双摄缩放图像上进行了评估；论文提出了一种新的ZoomGS方法，可以根据不同的相机编码构建特定的3D模型。

相关研究：最近的相关研究包括帧插值方法和双摄像头拍摄图像处理方法。例如，Deep Video Frame Interpolation (DVFI)和Dual Super-Resolution Network (DSRN)等。