State of What Art? A Call for Multi-Prompt LLM Evaluation

最近大型语言模型（LLMs）的进展导致了各种评估基准的发展。这些基准通常依赖于一个单一的指令模板，用于评估特定任务中所有LLMs。在本文中，我们全面分析了通过单一提示评估获得的结果的脆弱性，涉及20个不同的LLMs和来自3个基准的39个任务，共计650万个实例。为了提高分析的鲁棒性，我们建议使用一组多样化的提示来评估LLMs。我们讨论了特定用例（例如LLM开发人员与对特定下游任务感兴趣的开发人员）的定制评估指标，确保对LLM能力进行更可靠和有意义的评估。然后，我们实施这些标准并对多个模型进行评估，提供有关当前LLMs真正的优势和限制的见解。

本文旨在解决单一指令模板评估大型语言模型（LLMs）的脆弱性问题，提出使用多样化提示来评估LLMs的方法，以提高评估结果的可靠性和意义。

通过使用多样化提示来评估LLMs，以提高评估结果的鲁棒性和可靠性。同时，本文还提出了针对不同使用场景的评估指标，以确保对LLMs能力的更可靠和有意义的评估。

本文通过对20个不同的LLMs和39个来自3个基准测试的任务的6.5M个实例进行全面分析，提出了使用多样化提示进行评估的方法，并提出了针对不同使用场景的评估指标。实验结果提供了当前LLMs真正的优势和局限性的见解。

最近的相关研究主要集中在LLMs的开发和应用方面，如GPT-3、BERT等。