Risk or Chance? Large Language Models and Reproducibility in Human-Computer Interaction Research

可重复性是各个科学领域都面临的一个重要问题。尤其是人机交互领域，由于采用了各种各样的研究方法，因此面临着多种可重复性挑战。本文探讨了大型语言模型（LLMs）在所有用户体验（UX）设计和研究活动中越来越普及，对人机交互领域的可重复性产生了什么影响。具体而言，我们通过过去到未来（误）实践的类比，如p-hacking和prompt-hacking、一般偏见、数据分析支持、文档和教育要求，以及可能对社区造成的压力，来审视即将出现的可重复性挑战。我们讨论了每个类比的风险和机会，并期望更全面的讨论将有助于制定最佳实践，并促进在人机交互研究中使用LLMs的有效和可重复实践。

探讨大型语言模型在人机交互中的可重复性挑战

通过过去到未来（不当）做法的类比，从p-hacking和prompt-hacking、一般偏见、数据分析支持、文档和教育要求以及可能对社区造成的压力等角度，探讨大型语言模型在人机交互研究中的可重复性挑战

论文讨论了大型语言模型在人机交互研究中的可重复性挑战，并提出了一些解决方案，如更好的文档和教育要求，以及更好的数据分析支持。该论文还探讨了可能对社区造成的压力和未来需要进一步研究的问题。

最近的相关研究包括“Reproducibility in HCI: A Taxonomy of Replication Types and Standards”、“Towards a Standard for Reproducible Research in Interactive Systems”等。