本文提出了一个全新的 MAGIC (iMAge-guided text GeneratIon with CLIP）框架。该框架可以使用图片模态的信息指导预训练语言模型完成一系列跨模态生成任务，例如 image captioning 和 visually grounded story generation。与其他方法不同的是，MAGIC 框架无需多模态训练数据，只需利用现成的语言模型（例如 GPT-2）和图文匹配模型（例如 CLIP）就能够以 zero-shot 的方式高质量地完成多模态生成任务。此外，不同于使用梯度更新生成模型 cache 的传统方法，MAGIC 框架无需梯度更新，因而具备更高效的推理效率。

图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除