Magic Insert: Style-Aware Drag-and-Drop

我们提出了Magic Insert，一种方法，可以以物理可信的方式将用户提供的图像中的主题拖放到不同风格的目标图像中，同时匹配目标图像的风格。这项工作规范化了风格感知的拖放问题，并提出了一种方法来解决它，通过解决两个子问题：风格感知的个性化和在风格化图像中逼真地插入对象。对于风格感知的个性化，我们的方法首先使用LoRA和学习的文本标记对预训练的文本到图像扩散模型进行微调，然后将其与目标风格的CLIP表示相结合。对于对象插入，我们使用引导域自适应来将特定于领域的逼真物体插入模型适应于各种艺术风格的领域。总体而言，该方法显著优于传统方法，如修补。最后，我们提供了一个数据集SubjectPlop，以促进在这个领域的评估和未来进展。项目页面：https://magicinsert.github.io/

本论文试图解决如何在不同风格的目标图像中，以物理可行的方式将主题从用户提供的图像中拖放到目标图像中，并匹配目标图像的风格的问题。这是一个新问题。

本论文提出了Magic Insert方法，通过解决风格感知个性化和在样式化图像中逼真地插入对象这两个子问题，来处理风格感知的拖放问题。对于风格感知个性化，本方法首先使用LoRA和学习的文本标记对预训练的文本到图像扩散模型进行微调，然后将其与目标风格的CLIP表示相结合。对于对象插入，我们使用引导域适应来将特定于域的逼真对象插入模型适应于多样的艺术风格领域。该方法显著优于传统方法，如修补。论文还提供了一个数据集SubjectPlop，以促进评估和未来进展。

本方法在风格感知的拖放问题上表现出色，显著优于传统方法。论文提供了一个新的数据集SubjectPlop以促进评估和未来进展。论文还提供了开源代码和实验细节。

最近在这个领域中，还有一些相关的研究，例如：1. Image Style Transfer Using Convolutional Neural Networks. 2. Arbitrary Style Transfer with Style-Attentional Networks. 3. Learning to Transfer Artistic Style with Few Shot Paradigm. 4. Deep Photo Style Transfer. 5. Neural Style Transfer: A Review.