Breaking the Silence: the Threats of Using LLMs in Software Engineering

大型语言模型（LLMs）在软件工程（SE）社区中得到了广泛的应用，影响了从代码完成到测试生成、从程序修复到代码摘要等各种SE任务。尽管它们很有前途，但研究人员仍需谨慎，因为许多复杂因素可能会影响涉及LLMs的实验结果。本文在潜在的威胁方面启动了一次公开讨论，包括封闭源模型、LLM训练数据和研究评估之间可能的数据泄漏以及LLM基础研究的可重复性等问题。作为回应，本文提出了一套针对SE研究人员和语言模型（LM）提供商的指南，以减轻这些问题的影响。指南的意义是通过LLM提供商遵循的现有良好实践和在测试用例生成的SE研究者的实际示例进行说明。

本论文讨论了使用大型语言模型（LLMs）进行软件工程研究时可能存在的威胁，如闭源模型、数据泄露等问题，并提出了一些SE研究人员和LM提供商的指南以减轻这些问题的影响。

本论文提出了一些指南，以帮助SE研究人员和LM提供商更好地使用LLMs进行研究，包括在数据集上进行更加严格的隔离、使用开源模型等。

本论文强调了LLMs在软件工程领域中的应用，提出了一些指南以减轻研究中可能存在的威胁，并通过测试用例生成的实际例子来说明这些指南的应用。

与本论文相关的研究包括LLMs在其他领域中的应用，以及LLMs在SE中的其他应用，如代码自动补全、程序修复等。