大模型作为人机算法的工作者？用大模型模拟众包流水线

LLMs as Workers in Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs

在众包任务中，LLM 在复制类似人类的行为方面大有可为，而这些任务以前被认为是人类的专属能力。

Tongshuang Wu, Haiyi Zhu, Maya Albayrak, Alexis Axon, Amanda Bertsch, Wenxing Deng, Ziqi Ding, Bill Guo

目前的努力主要集中在简单的原子任务上。我们探讨了 LLM 能否复制更复杂的众包管道。我们发现，现代 LLM 可以在这些 "人类计算算法 "中模拟人群工作者的某些能力，但成功的程度不一，并受到请求者对 LLM 能力的理解、子任务所需的特定技能以及执行这些子任务的最佳交互方式的影响。

我们反思了人类和本地语言管理器对指令的不同敏感度，强调了为本地语言管理器提供面向人类的保障措施的重要性，并讨论了对人类和本地语言管理器进行技能互补培训的潜力。

最重要的是，我们表明复制众包管道提供了一个宝贵的平台，可用于研究：(1) LLMs 在不同任务中的相对优势（通过交叉比较它们在子任务中的表现）；(2) LLMs 在复杂任务中的潜力，它们可以完成部分任务，而将其他任务留给人类完成。

内容中包含的图片若涉及版权问题，请及时与我们联系删除