Confidence Calibration and Rationalization for LLMs via Multi-Agent Deliberation

不确定性估计是当前大型语言模型（LLMs）的一个重要问题，这些模型通常校准不良且过于自信，特别是在从人类反馈中进行强化学习（RLHF）时。与人类不同，人类的决策和信心不仅源于内在信念，而且可以通过日常观察进行调整。现有的LLMs校准方法侧重于估计或引出个体信心，而未充分利用“集体智慧”：多个LLMs之间的互动可以共同提高准确性和校准性。在这项工作中，我们提出了“协作校准”——一种后期无需训练的校准策略，利用多个工具增强的LLM代理在模拟的团体讨论过程中的协作和表达能力。我们在各个领域的生成性问答任务中展示了“协作校准”的有效性，展示了其在利用经过集体校准的信心评估的合理化方面的潜力，并提高了模型预测的可靠性。

本文旨在解决当前大型语言模型（LLMs）存在的过度自信和不准确的问题，提出一种新的协作校准策略。

本文提出的协作校准策略利用多个工具增强型LLM代理的协作和表达能力，在模拟的群体讨论过程中提高模型预测的可靠性。

本文的实验结果表明，协作校准策略在各个领域的生成型QA任务中都取得了良好的效果。该策略不需要后续训练，能够有效提高模型预测的准确性和可靠性。此外，本文提出的协作校准策略还具有一定的实用性。

最近在这个领域中，还有一些相关研究，例如：《Deep Evidential Regression》、《Calibration of Neural ODEs》等。