Automated Unit Test Improvement using Large Language Models at Meta

本文介绍了Meta的TestGen-LLM工具，该工具使用LLMs自动改进现有的人工编写的测试。TestGen-LLM验证其生成的测试类能够成功通过一组过滤器，以确保相对于原始测试套件有可衡量的改进，从而消除由于LLM幻觉而导致的问题。我们描述了TestGen-LLM在Instagram和Facebook平台的Meta测试马拉松上的部署。在对Instagram的Reels和Stories产品进行评估时，75%的TestGen-LLM测试用例构建正确，57%可靠地通过，25%增加了覆盖范围。在Meta的Instagram和Facebook测试马拉松期间，它改进了所有应用它的类的11.5％，其中73％的建议被Meta软件工程师接受并用于生产部署。我们认为这是首次报道在工业规模上部署LLM生成的代码，并得到了如此改进代码的保证。

使用LLM自动改进人工编写的测试套件的工具

使用LLM生成测试用例，并通过一系列过滤器验证其性能，从而提高测试套件的覆盖率和可靠性

在Instagram和Facebook平台上进行了Meta测试，其中75％的TestGen-LLM测试用例构建正确，57％可靠地通过测试，25％提高了覆盖率。在Meta的Instagram和Facebook测试中，它改进了11.5％的所有应用类，其中73％的建议被Meta软件工程师采纳

该论文认为这是首次报告以这种方式支持代码改进的LLM生成代码的工业规模部署。