Enhance Image-to-Image Generation with LLaVA Prompt and Negative Prompt

本文提出了一种新的方法来增强图像生成的效果，利用了大型语言和视觉助手(LLaVA)的多模态能力。我们提出了一个框架，其中LLaVA分析输入图像并生成文本描述，即LLaVA生成的提示。这些提示以及原始图像被馈入图像生成管道。这种丰富的表示引导生成过程朝着更像输入图像的输出方向发展。广泛的实验证明了LLaVA生成的提示在促进图像相似性方面的有效性。与传统方法相比，我们观察到生成图像与输入图像之间的视觉连贯性显著提高。未来的工作将探索微调LLaVA提示以增加对创意过程的控制。通过在提示中提供更具体的细节，我们旨在在生成的输出中实现对原始图像的忠实和艺术表达之间的微妙平衡。

本文旨在提出一种新的方法来增强图像生成的效果，通过利用大型语言和视觉助手（LLaVA）的多模态能力。具体而言，如何利用LLaVA生成的文本描述来指导图像生成过程，从而使生成的图像更加贴近原始图像。

本文提出的方法是将LLaVA生成的文本描述与原始图像一起输入到图像生成模型中，从而指导生成过程。相比传统方法，这种方法能够更有效地提高生成图像与原始图像的相似度。

本文通过实验验证了LLaVA生成的文本描述对于提高图像生成效果的有效性，并观察到了与传统方法相比的显著改进。未来的工作将探索对LLaVA生成的文本描述进行微调，以实现对生成过程的更精细控制。

在最近的研究中，也有一些关于利用文本描述来指导图像生成的工作。例如，"Generative Adversarial Text to Image Synthesis"和"StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks"等。