PrompTHis: Visualizing the Process and Influence of Prompt Editing during Text-to-Image Creation

生成式文本到图像模型使用户能够通过文本提示创建吸引人的图像，近年来其受欢迎程度急剧增加。然而，大多数用户对这种模型的工作原理了解有限，通常需要多次尝试才能达到满意的结果。提示历史包含丰富的信息，可以为用户提供关于已经探索过什么以及提示更改如何影响输出图像的见解，但是很少有研究关注这种过程的视觉分析以支持用户。我们提出了图像变体图，这是一种新颖的视觉表示，旨在支持比较提示-图像对和探索编辑历史。图像变体图将提示差异建模为相应图像之间的边，并通过投影呈现图像之间的距离。基于该图，我们与艺术家共同设计了PrompTHis系统。除了图像变体图外，PrompTHis还包括详细的提示-图像历史记录和导航迷你地图。通过对提示历史的审查和分析，用户可以更好地理解提示更改的影响，并更有效地控制图像生成。我们进行了一项定量用户研究，共有11名业余参与者，并对5名专业用户和一名业余用户进行了定性访谈，以评估PrompTHis的有效性。结果表明，PrompTHis可以帮助用户回顾提示历史，理解模型并规划创作过程。

如何帮助用户更好地理解文本生成图像模型的工作原理，以及如何更有效地控制图像生成过程？

提出了一种名为Image Variant Graph的可视化表示方法，用于比较文本-图像对和探索编辑历史，同时开发了一个名为PrompTHis的系统，通过该系统用户可以更好地理解模型，规划创意过程。

论文使用了一个名为PrompTHis的系统进行实验，该系统包括Image Variant Graph、详细的文本-图像历史记录和导航小地图等功能，通过对文本-图像历史记录的回顾和分析，用户可以更好地理解文本生成图像模型的工作原理，并且有一个更有效的控制图像生成过程的方法。

最近的相关研究包括：《Generative Adversarial Networks》、《DeepDream》、《Neural Style Transfer》等。