As Generative Models Improve, People Adapt Their Prompts

在一项涉及1891名参与者的在线实验中，我们收集并分析了超过18,000个提示，以探索在生成式AI模型的能力不断提高时，提示的重要性将如何改变。我们的实验中，每个参与者被随机盲目地分配到三个文本到图像扩散模型之一：DALL-E 2，其更先进的后继者DALL-E 3，或带有自动提示修订的DALL-E 3版本中。然后要求参与者在10次连续尝试中编写提示，以尽可能接近目标图像。我们发现，使用DALL-E 3的参与者的任务表现要优于使用DALL-E 2的参与者。这种表现差距对应于参与者图像与目标图像的相似度明显不同，并且是由DALL-E 3增加的技术能力和参与者对这些增加的能力做出的内生变化所引起的。具体来说，尽管无法识别他们被分配的模型，但被分配到DALL-E 3的参与者编写了更长的提示，这些提示在语义上更相似，并且包含更多的描述性单词。此外，尽管被分配到DALL-E 3的提示修订仍然优于被分配到DALL-E 2的提示，但自动提示修订减少了使用DALL-E 3的好处达58％。综上所述，我们的结果表明，随着模型的不断发展，人们将继续调整他们的提示，以利用新模型的能力。

论文旨在探讨随着生成AI模型能力的提高，提示的重要性会如何变化。作者通过在线实验来验证这一假设。

使用更高级的生成AI模型可以提高任务性能，但参与者也会根据模型能力的提高调整提示的内容。

实验中使用了三种不同的文本到图像扩散模型，并且对参与者的提示进行了分析。结果表明，使用DALL-E 3比DALL-E 2更有效。参与者被分配到DALL-E 3时，会写更长、更相似的提示，并且包含更多描述性词语。自动提示修订可以减少使用DALL-E 3的好处。

最近的相关研究主要集中在生成AI模型的改进方面，例如GPT-3和CLIP。