An Evaluation of Estimative Uncertainty in Large Language Models

这篇摘要讨论了诸如“可能”或“很可能不”的估计概率词语在自然语言中用于表达估计不确定性的普遍性，相较于直接涉及数字概率的陈述。人类估计不确定性及其与数字估计的校准长期以来一直是一个研究领域，包括像中央情报局这样的情报机构。本研究比较了常用的大型语言模型（LLM），如GPT-4和ERNIE-4与人类之间以及彼此之间的估计不确定性。研究表明，像GPT-3.5和GPT-4这样的LLM在某些英语中表达的WEP方面与人类估计相一致，但不是全部。当LLM面对具有性别角色和中国语境时，也观察到了差异。进一步研究表明，像GPT-4这样的先进LLM可以在统计和估计不确定性之间持续映射，但仍存在显著的性能差距。这些结果有助于不断增长的有关人类-LLM对齐的研究。

本论文旨在比较大型语言模型（LLMs）如GPT-4和ERNIE-4与人类在估计不确定性方面的差异，并研究LLMs在不同语境下的表现。

本研究发现，LLMs在某些英语WEPs方面与人类估计相一致，但在涉及性别角色和中文语境下存在差异。同时，GPT-4可以在统计和估计不确定性之间进行映射，但仍存在一定的性能差距。

实验结果表明，LLMs在某些情况下可以与人类估计相一致，但在特定情况下表现差异较大。同时，本论文提供了一个新的研究方向，即探索LLMs在不同语境下的表现。

最近的相关研究包括《GPT-3: Language Models are Few-Shot Learners》和《ERNIE 2.0: A Continual Pre-training Framework for Language Understanding》等。