CLiC: Concept Learning in Context

本文解决了从一张图片中学习一个物体的局部视觉模式，并生成描绘具有该模式物体的图像的挑战。学习一个局部概念并将其放置在目标图像中的物体上是一项非常困难的任务，因为物体可能具有不同的方向和形状。我们的方法建立在视觉概念学习的最新进展之上。它涉及从源图像获取视觉概念（例如装饰）并随后将其应用于目标图像中的物体（例如椅子）。我们的关键思想是进行上下文概念学习，在它们所属的物体的更广泛上下文中获取局部视觉概念。为了定位概念学习，我们使用包含掩模内部概念和周围图像区域的软掩模。我们通过图像内的对象生成展示了我们的方法，展示了在上下文学习的概念中合理嵌入的可能性。我们还介绍了将获取的概念定向到目标图像中特定位置的方法，采用交叉注意机制，并建立源对象和目标对象之间的对应关系。我们通过定量和定性实验以及与基线技术的比较证明了我们方法的有效性。

本论文试图解决从一张图片中学习局部视觉模式，并生成具有该模式的物体图像的问题。这个问题是否是一个新问题并没有明确提到。

本文的关键思路是进行上下文概念学习，即在物体所属的更广泛上下文中获取局部视觉概念。为了局部化概念学习，使用包含概念和周围图像区域的软掩码。同时，引入交叉注意机制和建立源对象和目标对象之间的对应关系，将获取的概念定向到目标图像的特定位置。

本文通过在图像中生成对象来展示在上下文中学习的概念的合理嵌入。实验设计了定量和定性实验，并与基线技术进行了比较。使用了多个数据集，并且开源了代码。值得进一步研究的工作包括如何扩展到更复杂的场景和对象类别，如何在更大的数据集上进行训练以提高性能。

最近的相关研究包括基于深度学习的图像生成和上下文感知图像编辑。例如，Autoencoder-based Image Generation和Contextual Residual Aggregation Network for Ultra High-Resolution Image Inpainting。