In-Context Matting

我们引入了上下文抠图，这是一种图像抠图的新任务设置。在给定某个前景参考图像和点、涂鸦和遮罩等引导先验的情况下，上下文抠图可以在不需要额外辅助输入的情况下，在相同前景类别的一批目标图像上自动进行Alpha估计。这种设置将基于辅助输入的抠图的良好性能与自动抠图的易用性相结合，找到了定制和自动化之间的良好平衡。为了克服准确的前景匹配的关键挑战，我们引入了IconMatting，这是一种建立在预训练文本到图像扩散模型之上的上下文抠图模型。在基于相似性匹配的内部和外部条件下，IconMatting可以充分利用参考上下文来生成准确的目标Alpha抠图。为了对该任务进行基准测试，我们还介绍了一个新的测试数据集ICM-57，涵盖57组真实世界图像。在ICM-57测试集上的定量和定性结果表明，IconMatting在保持类似于自动抠图的自动化水平的同时，可以与基于Trimap的抠图相媲美。代码可在https://github.com/tiny-smart/in-context-matting上找到。

本文尝试解决图像抠图中的一个新问题——在给定参考图像和引导先验的情况下，对于同一前景类别的一批目标图像进行自动alpha估计。

文章提出了一种新的任务设置——上下文抠图，结合了基于辅助输入的抠图方法和自动抠图的优点，利用预训练的文本到图像扩散模型建立了IconMatting模型，通过参考上下文进行条件匹配，生成准确的目标alpha抠图。

本文提出了一种新的任务设置——上下文抠图；使用预训练的文本到图像扩散模型建立了IconMatting模型，实现了自动alpha估计；提出了一个新的测试数据集ICM-57，用于评估模型性能；提供了开源代码。

最近在这个领域中，还有一些相关的研究，如Deep Image Matting、GCA Matting等。