"I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust

广泛使用的大型语言模型（LLMs）可以产生令人信服但不正确的输出，这可能会误导用户，他们可能会依靠它们作为正确的信息。为了减少这种过度依赖，有人呼吁LLMs向最终用户传达它们的不确定性。然而，很少有实证研究探讨用户如何感知和采取行动来应对LLMs的不确定表达。我们通过一项大规模、预注册的人体实验（N=404），在其中参与者回答医学问题，有或没有访问虚构的LLM注入搜索引擎的响应，来探讨这个问题。使用行为和自我报告的测量，我们研究了不同的自然语言不确定表达如何影响参与者的依赖、信任和总体任务表现。我们发现，第一人称表达（例如，“我不确定，但是…”）降低了参与者对系统的信心和同意系统答案的倾向，同时提高了参与者的准确性。探索性分析表明，这种增加可以归因于对不正确答案的过度依赖减少（但并未完全消除）。虽然我们观察到类似的效果，即从一般角度表达的不确定性（例如，“不清楚，但是…”），但这些效果较弱且不具有统计学意义。我们的研究结果表明，使用自然语言表达不确定性可能是减少对LLMs过度依赖的有效方法，但所使用的确切语言很重要。这凸显了在大规模部署LLMs之前进行用户测试的重要性。

研究LLM如何表达不确定性对用户的影响，以减少用户过度依赖LLM的问题。

使用第一人称表达不确定性可以降低用户对LLM答案的信任度和赞同度，但提高准确率。

论文进行了大规模实验，发现自然语言表达不确定性可以降低用户对LLM的过度依赖，但具体的表达方式很重要。

最近的相关研究集中在如何提高LLM的准确性和可解释性，如GPT-3和BERT等模型的研究。