Risk or Chance? Large Language Models and Reproducibility in Human-Computer Interaction Research

可重复性是各个科学领域的一个主要关注点。特别是人机交互（HCI），由于采用了各种各样的研究方法，因此面临着多种可重复性挑战。在本文中，我们探讨了大语言模型（LLM）在所有用户体验（UX）设计和研究活动中越来越广泛应用对HCI中的可重复性产生的影响。特别是，我们通过过去到未来（误）做法的类比，如p-hacking和prompt-hacking，一般偏见，数据分析支持，文档和教育要求以及可能对社区施加的压力，来审视即将出现的可重复性挑战。我们讨论了每个方面的风险和机会，并期望更全面的讨论将有助于塑造最佳实践，并为在HCI研究中使用LLMs做出有效和可重复的实践做出贡献。

本文探讨了使用大型语言模型（LLMs）对人机交互（HCI）研究的可重复性带来的影响和挑战，以及如何应对这些挑战。

本文通过分析过去的（不良）实践，如p-hacking和prompt-hacking，以及数据分析中存在的偏见、文档记录和教育要求等方面，探讨了使用LLMs在HCI研究中面临的风险和机会。

本文的实验设计和使用的数据集并没有被详细介绍，但是提出了一些应对使用LLMs带来的可重复性挑战的建议，这对于未来的HCI研究具有指导意义。

近期相关研究包括：《The State of the Art in Human-Computer Interaction Research on the Design of Effective and Enjoyable Self-Quantification User Interfaces》、《A Review of Empirical Research on Explainable Artificial Intelligence (XAI): Taxonomy, Grounding, and Future Directions》等。