Reinforcement Learning from Automatic Feedback for High-Quality Unit Test Generation

软件测试是软件开发中至关重要但耗时的环节，近年来，大型语言模型（LLMs）在自动化测试用例生成方面越来越受欢迎。然而，由于这些模型是在大量开源代码上训练的，因此生成的测试用例常常不符合最佳实践，甚至可能包含测试异味（反模式）。为了解决这一问题，我们提出了基于静态质量度量的强化学习（RLSQM），即利用强化学习根据基于静态分析的质量度量生成高质量的单元测试。首先，我们分析了由LLM生成的测试用例，并表明LLM确实经常生成不理想的测试异味，最高可达37%的比例。然后，我们实现了一个轻量级的基于静态分析的奖励模型，并使用该奖励模型对LLM进行训练，以优化五个代码质量度量。实验结果表明，经过RL优化的Codex模型生成的测试用例质量始终高于基础LLM，质量度量提高了多达23%，并且几乎100%生成了语法正确的代码。尽管使用的Codex模型训练成本较低，RLSQM在所有代码质量度量上均优于GPT-4。我们提供了如何可靠地利用强化学习来提高测试生成质量的见解，并展示了RLSQM是提升自动化软件测试整体效率和可靠性的重大一步。我们的数据可在https://doi.org/10.6084/m9.figshare.25983166 获取。

该论文旨在解决大型语言模型（LLM）在生成自动化测试用例时，由于训练数据的广泛性和多样性，导致生成的测试代码不符合最佳实践，并可能包含测试气味（即反模式）的问题。这不仅影响了测试的质量，也降低了自动化软件测试的效率和可靠性。

论文提出了一种基于强化学习与静态质量度量相结合的方法——RLSQM（Reinforcement Learning from Static Quality Metrics）。通过使用静态分析来构建奖励模型，并利用强化学习优化LLM生成的测试用例，以确保生成的测试代码符合五项代码质量指标。这种方法不仅提高了测试用例的质量，还保证了几乎100%的语法正确性。

实验结果显示，经过RL优化后的Codex模型在所有代码质量度量上均优于基础LLM，质量提升最高可达23%，并且在语法正确性方面接近完美。此外，RLSQM还在所有质量度量上超越了GPT-4，尽管其训练成本更低。研究团队还开源了他们的数据集（DOI: https://doi.org/10.6084/m9.figshare.25983166），为后续研究提供了宝贵的资源。未来的研究可以进一步探索如何将RLSQM应用于更复杂的测试场景中。

近期相关研究包括： 1. 使用深度学习改进软件测试的自动化程度（如《Automated Test Case Generation Using Deep Learning》）。 2. 探索自然语言处理技术在软件工程中的应用（如《Applying NLP Techniques to Software Engineering》）。 3. 强化学习在代码生成中的应用（如《Code Generation with Reinforcement Learning》）。 这些研究都致力于提高软件开发过程的自动化水平和代码质量，而RLSQM则是在这一领域的又一重要进展。