Characterising the Creative Process in Humans and Large Language Models

大型语言模型似乎非常有创造力，通常在创意任务上表现与普通人类相当。然而，对于LLM的创造力研究仅关注于“产品”，而对创造性“过程”关注较少。人类创造力的过程分析通常需要手工编码的类别或利用反应时间，这些方法并不适用于LLM。我们提供了一种自动化方法来表征人类和LLM在“替代用途任务”中探索语义空间的方式，并与“语言流畅性任务”的行为进行对比。我们使用句子嵌入来识别响应类别并计算语义相似性，然后生成跳跃轮廓。我们的结果证实了人类之前的研究，即人类在创造力方面有持久性（在少数语义空间中进行深入搜索）和灵活性（在多个语义空间中进行广泛搜索）两种路径，这两种路径都会导致类似的创造力得分。发现LLM倾向于某些特定的持久性或灵活性路径，这些路径在不同任务中有所不同。虽然LLM作为一个群体与人类的轮廓相匹配，但它们与创造力的关系不同，其中更灵活的模型得分更高。我们的数据集和脚本可以在GitHub上获得。

研究大型语言模型（LLMs）的创造性过程，探索它们在语义空间中的探索方式，并将其与人类进行比较，以了解它们如何影响创造性得分。

使用自动化方法来比较人类和LLMs在创造性任务中的行为，其中包括使用句子嵌入来识别响应类别和计算语义相似性，以生成跳跃轮廓。研究发现，LLMs的创造性路径与人类相似，但更灵活的模型得分更高。

实验使用了交替用途任务和语言流畅性任务，并使用句子嵌入来识别响应类别和计算语义相似性，以生成跳跃轮廓。研究表明，LLMs的创造性路径与人类相似，但更灵活的模型得分更高。研究数据集和脚本可在GitHub上获得。

近期的相关研究包括“大型语言模型的创造性应用：机遇和挑战”和“使用大型语言模型进行创造性写作：挑战和机会”。