See What LLMs Cannot Answer: A Self-Challenge Framework for Uncovering LLM Weaknesses

本文旨在探讨一个问题，即大型语言模型（LLMs）是否能够从其错误中发现自身的局限性。为此，作者提出了一个自我挑战评估框架，其中包括人类的参与。该框架从GPT-4无法回答的种子实例开始，提示GPT-4总结错误模式，这些模式可用于生成新实例，并在其中加入人类反馈以改进这些模式，以便迭代生成更具挑战性的数据。最终，作者得到了8个不同的模式，例如文本操作和带有假设的问题。然后，作者使用这些模式由GPT-4生成了一个包含1,835个实例的基准测试集SC-G4，并附有人工注释的标准答案。SC-G4作为一项具有挑战性的基准测试，可以详细评估LLMs的能力。结果显示，仅有44.96％的SC-G4实例可以被GPT-4正确回答。有趣的是，作者的初步研究表明，这些错误模式也会挑战其他LLMs，例如Claude-3和Llama-3，并且不能通过微调来完全解决。本文是首次证明LLMs可以自主识别其固有缺陷并为未来的动态和自动评估提供洞见的第一步。

探究大型语言模型是否能够从错误中发现自身的局限性

提出了一种自我挑战评估框架，通过人机交互不断迭代生成更具挑战性的数据集，构建了一个挑战性的基准数据集SC-G4，评估了当前最先进的LLM模型的表现，并发现这些错误模式也挑战其他LLM模型

实验结果表明，当前最先进的LLM模型GPT-4只能正确回答SC-G4数据集中44.96%的问题，该论文提出的自我挑战评估框架可以为未来动态和自动评估提供启示

最近的相关研究包括但不限于：《GPT-3: Language Models are Few-Shot Learners》、《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》等