Supporting Sensemaking of Large Language Model Outputs at Scale

大型语言模型（LLMs）能够对单个提示生成多个响应，但是很少有人花费精力帮助最终用户或系统设计人员利用这种能力。在本文中，我们探讨如何一次呈现多个LLM响应。我们设计了五个特性，包括计算文本文档相似性和差异性的预先存在和新颖方法，以及如何呈现它们的输出。我们报告了一个受控用户研究（n = 24）和八个案例研究，评估了这些特性及其如何支持不同任务的用户。我们发现，这些特性支持各种各样的感知任务，甚至使我们的参与者之前认为过于困难的任务现在变得可行。最后，我们提供设计指南，以指导未来对新LLM界面的探索。

如何呈现大量的LLM响应，以帮助最终用户或系统设计师利用这种能力？

设计了五个功能，包括计算文本文档相似性和差异的预先存在和新颖方法，以及如何呈现它们的输出。这些功能支持各种任务并使以前被认为太困难的任务现在变得可行。

进行了一项控制用户研究(n=24)和八个案例研究，评估了这些功能及其如何支持不同任务的用户。设计了指南以指导未来对新LLM界面的探索。

最近的相关研究包括LLM的生成和使用，以及用户与自然语言处理系统的交互。