IPAdapter-Instruct: Resolving Ambiguity in Image-based Conditioning using Instruct Prompts

扩散模型不断推动着最先进的图像生成技术，但这个过程很难精细地控制：实践证明，文本提示无法准确描述图像风格或细微的结构细节（如面部）。ControlNet和IPAdapter通过将生成过程置于影像条件下来解决这个缺点，但每个单独的实例仅限于对单个条件后验进行建模：对于实际应用场景，在同一工作流程中需要多个不同的后验时，训练和使用多个适配器就很麻烦。我们提出了IPAdapter-Instruct，它将自然图像条件与“Instruct”提示结合起来，以在相同的条件图像之间切换解释：风格转移、对象提取、两者兼而有之，还是其他什么？与专门针对每个任务的模型相比，IPAdapter-Instruct可以高效地学习多个任务，并且几乎不会降低质量。

论文旨在解决条件生成模型在控制图像生成过程中的不足，即无法精确描述图像风格或细节结构，以及单个条件后验的限制问题。

论文提出了一种新的生成模型IPAdapter-Instruct，将自然图像条件与“Instruct”提示相结合，使得同一条件图像可以进行多种不同的任务，如风格转换、对象提取等。

论文的实验结果表明，IPAdapter-Instruct可以有效地学习多个任务，而且与单独训练的模型相比，质量损失很小。论文使用了ControlNet和IPAdapter作为基准模型，并在多个数据集上进行了实验。论文提供了开源代码。

在相关研究方面，最近的一些研究包括：《Controlled Text Generation》、《Image Generation from Sketch Constraint》、《Image-to-Image Translation with Conditional Adversarial Networks》等。