每天 0 点更新数据,热度根据全网互动数计算
最热 · 今天
最新
"I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust
Sunnie S. Y. Kim,
Q. Vera Liao,
Mihaela Vorvoreanu,
...
2024年05月01日
广泛使用的大型语言模型(LLMs)可以产生令人信服但不正确的输出,这可能会误导用户,他们可能会依靠它们作为正确的信息。为了减少这种过度依赖,有人呼吁LLMs向最终用户传达它们的不确定性。然而,很少有实证研究探讨用户如何感知和采取行动来应对LLMs的不确定表达。我们通过一项大规模、预注册的人体实验(N=404),在其中参与者回答医学问题,有或没有访问虚构的LLM注入搜索引擎的响应,来探讨这个问题。使用行为和自我报告的测量,我们研究了不同的自然语言不确定表达如何影响参与者的依赖、信任和总体任务表现。我们发现,第一人称表达(例如,“我不确定,但是…”)降低了参与者对系统的信心和同意系统答案的倾向,同时提高了参与者的准确性。探索性分析表明,这种增加可以归因于对不正确答案的过度依赖减少(但并未完全消除)。虽然我们观察到类似的效果,即从一般角度表达的不确定性(例如,“不清楚,但是…”),但这些效果较弱且不具有统计学意义。我们的研究结果表明,使用自然语言表达不确定性可能是减少对LLMs过度依赖的有效方法,但所使用的确切语言很重要。这凸显了在大规模部署LLMs之前进行用户测试的重要性。
HCI
AI
PDF
解读