Third-Party Language Model Performance Prediction from Instruction

基于语言模型的指令跟踪系统近来在许多基准任务上表现出越来越好的性能，展示了适应各种指令的能力。然而，这样的系统通常没有设计为透明地展示它们的限制；用户可能很容易就可以用一条指令来提示模型，而不知道是否应该期望响应是准确的，或者系统是否能够执行任务。我们提出了一个第三方性能预测框架，其中训练一个单独的模型来预测在推理时仅假设访问其输入和输出的情况下，评估指令跟踪系统在任务上的结果指标。我们使用多种开放和封闭的指令跟踪模型以及多个性能预测器进行了分析，并考察了各种因素的影响，例如模型大小、训练任务数量和提示格式。我们的研究结果表明，第三方性能预测非常具有挑战性，仍需大量工作来开发能够自动揭示现代自然语言处理指令跟踪系统限制的预测器。

本论文旨在提出第三方性能预测框架，以评估自然语言处理系统在执行任务时的表现，并揭示其局限性。

论文提出了一种第三方性能预测框架，通过训练一个单独的模型来预测执行任务时自然语言处理系统的指标，从而揭示其局限性。这种方法可以帮助用户在使用系统时了解其能力和限制。

论文使用多种开放和闭合指令跟踪模型以及多个性能预测器进行了分析，研究了模型大小、训练任务数量和提示格式等因素的影响。结果表明，第三方性能预测非常具有挑战性，需要进一步开发预测器来自动揭示现代自然语言处理系统的局限性。

最近的相关研究包括基于语言模型的指令跟踪系统以及自然语言处理系统的性能评估方法。相关论文包括《Language Models as Knowledge Bases?》和《Evaluating Natural Language Understanding Services for Conversational Question Answering Systems》等。