StoryDiffusion: How to Support UX Storyboarding With Generative-AI

故事板是设计用户体验的一种成熟方法。生成式人工智能可以通过帮助设计师快速创建视觉叙事来支持这一过程。然而，现有工具仅关注准确的文本到图像生成。目前尚不清楚如何有效地支持整个故事板创作过程以及如何开发支持设计师个人工作流程的人工智能工具。在这项工作中，我们迭代开发并实现了StoryDiffusion系统，该系统集成了文本到文本和文本到图像模型，以支持单一管道中的叙事和图像生成。通过用户研究，我们观察了12位UX设计师在概念构思和插图任务中使用该系统。我们的研究结果发现了任务中的AI指导和用户指导的创意策略，并揭示了支持叙事迭代和图像生成之间交互的重要性。我们还发现设计任务对其策略和偏好产生了影响，为未来的发展提供了见解。

如何有效地支持故事板创作过程中的文本和图像生成？

使用StoryDiffusion系统，将文本到文本和文本到图像模型整合到一个流程中，支持故事和图像的生成。

通过用户研究发现了AI指导和用户指导的创意策略，并揭示了故事迭代和图像生成之间互换的重要性。还发现了设计任务对策略和偏好的影响。

与文本到图像生成相关的研究包括:《Generative Adversarial Networks》、《Image-to-Image Translation with Conditional Adversarial Networks》、《AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks》等。