Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance

我们需要新的方法来理解人类如何选择依赖语言模型，因为人类与语言模型的交互从简单的句子补全转变为复杂的、涉及多个领域的、类似人类的交互。在我们的研究中，我们认为，人类的依赖程度受到生成交互环境中众多因素的影响，这与以往的研究使用口头表达的自信程度（例如，“我确定答案是……”）作为依赖程度的关键决定因素不同。在这里，我们介绍了Rel-A.I.，一种现场、系统级评估方法，用于测量人类对语言模型生成的认识标记（例如，“我认为它是……”，“毫无疑问它是……”）的依赖程度。使用这种方法，我们在三种新兴的人类-语言模型交互环境中测量了依赖率：长期交互、类人化生成和可变主题。我们的研究发现，依赖程度不仅仅基于口头表达的自信程度，而且受到交互环境的其他特征的显著影响。先前的交互、类人化线索和主题领域都会对依赖程度的变化产生影响。例如，“我相当确定它是……”这样的表达，其依赖频率在交互环境不同的情况下可以变化高达20%。我们的研究强调了理解人类依赖程度的环境因素的重要性，并为未来的设计师和研究人员提供了一种测量这种依赖程度的方法。

论文旨在探讨人类如何依赖语言模型以及影响依赖的因素，提出了一种新的评估方法。

引入了一种新的评估方法Rel-A.I.，考虑了交互环境对依赖的影响，发现依赖不仅仅取决于口头表达的自信程度，而是受到其他交互环境特征的影响。

实验使用三种不同的人机交互情境，测量了语言模型生成的认识标记对人类依赖的影响。结果表明，交互历史、人形化提示和主题领域都会影响依赖的变化，同样的表达方式在不同的交互环境下会有20%的依赖频率差异。

相关研究主要集中在语言模型生成的质量和置信度上，而本文强调了交互环境对人类依赖的影响。类似的研究有“Contextual Factors Affecting Trust in AI Decision-Making”和“Exploring the Effect of User Characteristics on Trust in AI Assistants”。