KAT: Dependency-aware Automated API Testing with Large Language Models

API测试对于软件公司来说越来越有需求。以前的API测试工具意识到需要在操作和参数之间进行简明的依赖关系，但是它们的方法大多是手动或使用启发式算法，由于这些依赖关系的复杂性而存在局限性。本文提出了KAT（Katalon API Testing），这是一种新颖的基于人工智能的方法，它利用大型语言模型GPT和先进的提示技术来自主生成测试用例以验证RESTful API。我们的综合策略包括从OpenAPI规范构建操作依赖关系图以及生成测试脚本、约束验证脚本、测试用例和测试数据的各种过程。我们使用12个真实的RESTful服务对KAT进行评估，结果显示它可以提高测试覆盖率，检测更多未记录的状态码，并在这些服务中减少误报率，与最先进的自动化测试生成工具相比。这些结果表明，使用大型语言模型生成API测试的测试脚本和数据是有效的。

KAT试图解决API测试工具在处理操作和参数之间复杂依赖关系时的局限性，提高测试覆盖率和检测未记录状态码的能力。

KAT是一种基于AI的方法，利用大型语言模型GPT和高级提示技术自动生成测试用例以验证RESTful API。它能够构建操作依赖图并生成测试脚本、约束验证脚本、测试用例和测试数据。

论文使用12个真实的RESTful服务进行评估，结果表明相比于现有的自动化测试生成工具，KAT能够提高测试覆盖率、检测更多未记录状态码并减少误报。该方法的亮点在于使用大型语言模型生成API测试脚本和数据。

近期的相关研究包括使用机器学习和自动生成技术进行API测试的研究，如“基于机器学习的Web API测试用例生成”和“使用模型驱动的方法生成RESTful Web服务测试用例”。