Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

A Z. Ren, A Dixit, A Bodrova, S Singh, S Tu, N Brown, P Xu, L Takayama...
[Princeton University & Google DeepMind]

会求助的机器人：大型语言模型规划的不确定性对齐

  • 动机：解决大型语言模型在规划任务中的自信预测问题以及在多步规划中最小化人工协助的挑战。当前的语言模型容易出现自信预测的幻觉，并且在面对不确定性和模糊性的任务时，缺乏向人类寻求帮助的能力。因此，需要一种方法来衡量和调整语言模型规划器的不确定性，使其在需要时知道自己不知道，并能主动寻求帮助。
  • 方法：提出一个名为KNOWNO的框架，通过使用一种称为conformal prediction的理论来衡量和调整基于语言模型的规划器的不确定性。KNOWNO利用conformal prediction选择一组可能的行动，并允许机器人决定执行一个行动或在需要时寻求帮助。同时，KNOWNO在单步和多步规划问题上提供了校准置信度的理论保证，并最小化了预测集的平均大小，以实现最小化人类帮助的目标。
  • 优势：提出一种能够衡量和调整语言模型规划器的不确定性的框架。通过使用conformal prediction，KNOWNO能够在多种模糊性任务中提供统计上保证的任务完成水平，同时减少了人工协助的需求。KNOWNO可以直接应用于语言模型，无需对模型进行微调，为建模不确定性提供了一种轻量的方法，能够与基础模型的不断增强能力相协调和扩展。


提出一个框架，通过衡量和调整语言模型规划器的不确定性，使机器人能够知道自己不知道，并在需要时寻求帮助，提高效率和自主性。

https://arxiv.org/abs/2307.01928 


图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除