Towards Dataset-scale and Feature-oriented Evaluation of Text Summarization in Large Language Model Prompts

最近大型语言模型和提示工程的进展使得聊天机器人的定制更加容易，显著降低了以前需要编程技能才能完成的任务的门槛。然而，提示评估，特别是在数据集规模下，仍然非常复杂，因为需要在数据集中评估成千上万个测试实例的提示。基于全面的文献综述和试点研究，我们的研究总结了提示评估中的五个关键挑战。作为回应，我们介绍了一个面向特征的工作流程，用于系统化的提示评估。在文本摘要的背景下，我们的工作流程倡导使用摘要特征（特征度量），如复杂度、正式度或自然度，而不是使用传统的质量度量，如ROUGE。这种设计选择使得提示的评估更加用户友好，因为它指导用户在处理自然语言中固有的歧义时进行排序。为了支持这个工作流程，我们介绍了Awesum，一个可视化分析系统，通过交互式可视化，提供了一个新颖的Prompt Comparator设计，采用BubbleSet-inspired设计和降维技术相结合的方式，以便识别文本摘要的最佳提示改进。我们通过与各个领域的从业者进行评估，发现我们的设计有助于克服非技术人员进行系统化摘要提示评估的学习曲线，并且我们的面向特征的工作流程具有推广到其他自然语言生成和图像生成任务的潜力。对于未来的工作，我们主张向面向特征的评估方法转变，并讨论人机交互方面未解决的挑战。

如何对大型语言模型（LLMs）的提示进行有效评估？

使用特征度量（feature metrics）而不是传统的质量度量来评估提示，提出了一个基于特征的工作流，并介绍了一个名为Awesum的可视化分析系统来帮助用户进行交互式评估。

论文介绍了一个基于特征的工作流，使用特征度量来评估提示，这有助于用户更好地理解自然语言中的歧义。同时，论文提出了一个名为Awesum的可视化分析系统，该系统可以帮助用户通过交互式可视化来识别最佳的提示改进方案。实验结果表明，这个系统有助于非技术人员进行系统评估，并且有潜力应用于其他自然语言生成和图像生成任务。

最近的相关研究包括《Large Scale Language Model Evaluation》和《The Curious Case of Neural Text Degeneration》等。