Towards Flexible Interactive Reflection Removal with Human Guidance

单张图像反射去除本质上是模棱两可的，因为需要分离的反射和透射组件都可能遵循自然图像统计。现有的方法尝试通过使用各种类型的低级和基于物理的线索作为反射信号的来源来解决这个问题。然而，这些线索并不普遍适用，因为它们只能在特定的捕获场景中观察到。当测试图像与它们的假设不一致时，这会导致显著的性能下降。在本文中，我们旨在探索一种新颖的灵活交互式反射去除方法，利用各种形式的稀疏人类指导，例如点和边界框，作为辅助高级先验，以实现鲁棒的反射去除。然而，简单地将原始用户指导纳入现有的反射去除网络并不会带来性能提升。为此，我们创新地将原始用户输入转换为统一的形式——反射掩模，使用交互式分割基础模型。这种设计吸收了分割模型和灵活的人类指导的精华，从而缓解了反射分离的挑战。此外，为了充分利用用户指导并减少用户注释成本，我们设计了一个掩模引导的反射去除网络，包括我们提出的自适应提示块。该块通过交叉关注机制自适应地将用户指导作为锚点，并通过交叉关注机制精细调整透射特征。对真实世界图像的广泛结果验证了我们的方法在灵活和稀疏的用户指导下展示了最先进的性能。我们的代码和数据集将在此公开提供 https://github.com/ShawnChenn/FlexibleReflectionRemoval。

本论文旨在探索一种新颖的、灵活的交互式反射去除方法，利用各种形式的稀疏人类指导作为辅助高级先验，以实现强大的反射去除。

本文提出了一种创新的方法，将原始用户输入转化为反射掩模，以吸收基础分割模型和灵活的人类指导的精华，从而缓解反射分离的挑战。此外，为了充分利用用户指导并减少用户注释成本，我们设计了一个掩模引导的反射去除网络，包括我们提出的自适应提示块。

论文使用了交互式分割基础模型将用户输入转换为反射掩模，提出了自适应提示块来充分利用用户指导，减少用户注释成本，实现了在各种数据集上的最先进性能。论文提供了代码和数据集，可公开访问。

最近在这个领域中，还有一些相关的研究，如《Deep Convolutional Neural Network for Image Deconvolution》、《Single Image Reflection Removal Exploiting Misaligned Training Data and Network Enhancements》等。