Position: Uncertainty Quantification Needs Reassessment for Large-language Model Agents

大型语言模型（LLMs）和聊天机器人代理有时会提供错误的输出，最近的研究发现这种情况永远无法完全避免。因此，不确定性量化起着至关重要的作用，其目标是通过一个总体数字或两个分别表示随机不确定性和认知不确定性的数字来衡量模糊性的程度。本文认为，这种传统的不确定性二分法对于大型语言模型代理在与用户交互时所处的开放和互动环境来说过于局限，并且我们需要探索能够丰富这一新场景中不确定性的研究方向。通过对现有文献的回顾，我们发现随机不确定性和认知不确定性这些流行定义之间存在直接矛盾，并且在交互式 LLM 代理环境中失去了其原本的意义。因此，我们提出了三个新的研究方向，专注于人类与计算机交互中的不确定性问题：未充分指定的不确定性（Underspecification Uncertainties），用于处理用户未能提供完整信息或首次未明确任务的情况；交互式学习（Interactive Learning），通过提出后续问题来减少对当前上下文的不确定性；以及输出不确定性（Output Uncertainties），利用丰富的语言和语音空间，以超越简单数字的方式来表达不确定性。我们预期，这些处理和传达不确定性的新方法将使 LLM 代理的交互变得更加透明、值得信赖且直观易懂。

论文试图解决大型语言模型（LLM）和聊天机器人在与用户交互时可能生成错误输出的问题。尽管传统不确定性量化方法（如区分随机性和认知不确定性）被广泛使用，但这些方法在开放式、交互式场景中显得不足。因此，论文提出需要重新定义不确定性概念，并探索更适合LLM交互场景的研究方向。

论文的关键思路是指出传统不确定性分类（aleatoric和epistemic）在LLM交互场景中存在局限性，并提出了三个新的研究方向：1）未指定不确定性（underspecification uncertainties），用于处理用户未提供完整信息或任务定义模糊的情况；2）交互学习（interactive learning），通过提问来减少对当前上下文的不确定性；3）输出不确定性（output uncertainties），利用自然语言表达丰富的不确定性信息，而不仅仅是数字。这种新框架旨在使LLM与用户的交互更加透明、可信和直观。

论文亮点包括：1）批判性地分析了现有不确定性量化的局限性；2）提出了具体的改进方向，例如通过对话机制动态减少不确定性；3）强调了将不确定性以自然语言形式表达的可能性，从而提高用户体验。虽然论文没有提及具体实验设计或数据集，但它为未来研究提供了明确的方向，值得深入探讨的是如何在实际系统中实现这些理念，以及是否可以开发开源工具支持相关研究。

近期相关研究包括：1）《On the Calibration of Modern Neural Networks》探讨了神经网络预测校准问题；2）《Uncertainty Quantification Using Neural Networks for Regression》研究了回归任务中的不确定性量化；3）《Interactive Machine Learning: letting users build better models》讨论了人机协作中的交互学习；4）《Human-in-the-loop Active Learning》探索了人在回路中的主动学习方法。此外，《Large Language Models Exhibit In-Context Reasoning》提到LLM在特定条件下的推理能力，这与本文提出的交互学习方向有一定联系。