Characterising the Creative Process in Humans and Large Language Models

大型语言模型似乎非常有创造力，通常在创造性任务上的表现与普通人类相当。然而，关于大型语言模型创造力的研究仅专注于“产品”，而对创造性“过程”关注较少。人类创造性的过程分析通常需要手工编码的类别或利用响应时间，这些方法不适用于大型语言模型。我们提供了一种自动化方法来表征人类和大型语言模型在替代用途任务中如何探索语义空间，并与语言流畅性任务中的行为进行对比。我们使用句子嵌入来识别响应类别并计算语义相似性，然后生成跳跃轮廓。我们的结果支持早期人类工作的结果，报告了人类对创造力的持久（在少数语义空间中进行深入搜索）和灵活（在多个语义空间中进行广泛搜索）路径，这两种路径都导致类似的创造力得分。发现大型语言模型倾向于持久或灵活的路径，这种倾向在任务之间有所不同。虽然大型语言模型的整体特征与人类相似，但它们与创造力的关系不同，其中更灵活的模型得分更高。我们的数据集和脚本可在GitHub上获得。

研究LLMs和人类在创造性任务中的创造过程，并比较它们的探索语义空间的方式和创造性得分。

使用句子嵌入来识别响应类别和计算语义相似性，生成跳跃轮廓，发现LLMs和人类的创造性路径存在差异。

论文使用自动化方法来分析LLMs和人类在创造性任务中的创造过程，使用句子嵌入来识别响应类别和计算语义相似性，生成跳跃轮廓。结果表明，LLMs和人类的创造性路径存在差异，LLMs的灵活性与创造性得分相关。论文提供了数据集和脚本，可用于进一步研究。

相关研究包括使用LLMs进行创造性任务的研究，以及使用手动编码类别或利用响应时间进行人类创造性过程分析的研究。