标题：IS CHATGPT A GENERAL-PURPOSE NATURAL LANGUAGE PROCESSING TASK SOLVER?

作者：

Chengwei Qin、Aston Zhang、Zhuosheng Zhang、Jiaao Chen、Michihiro Yasunaga、Dii Yang

上海交大&佐治亚理工学院&斯坦福大学

论文：https://arxiv.org/pdf/2302.06476.pdf

在规模进步的推动下，大型语言模型（LLM）已经证明了零执行各种自然语言处理（NLP）任务的能力——即无需适应下游数据。最近，ChatGPT的首次亮相引起了自然语言处理（NLP）社区的极大关注，因为它可以对人类输入产生高质量的响应，并根据随后的对话自我纠正之前的错误。然而，目前还不知道ChatGPT是否可以作为可以执行许多NLP任务零拍摄的多才模型。

在这项工作中，我们通过对涵盖7个代表性任务类别的20个流行的NLP数据集进行评估，实证分析了ChatGPT的零点学习能力。通过广泛的实证研究，我们展示了当前版本的ChatGPT的有效性和局限性。我们发现ChatGPT在许多有利于推理能力的任务（例如算术推理）方面表现良好，而它在解决序列标记等特定任务时仍然面临挑战。此外，我们还通过定性案例研究提供深入分析。

内容中包含的图片若涉及版权问题，请及时与我们联系删除