Towards Reliable AI: Adequacy Metrics for Ensuring the Quality of System-level Testing of Autonomous Vehicles

本文介绍了一种名为“测试套件实例空间充分性”（TISA）指标的黑盒测试充分性度量方法，可用于评估测试套件的有效性。TISA指标提供了一种评估测试套件多样性和覆盖范围以及测试期间检测到的错误范围的方法。此外，我们引入了一个框架，允许测试人员在二维空间中可视化测试套件的多样性和覆盖范围，以便识别需要改进的领域。我们通过检查TISA指标与AV系统级模拟测试中检测到的错误数量之间的相关性来评估TISA指标的有效性。强相关性以及短的计算时间表明它们在评估AV测试的充分性方面具有效果和效率。由于AI系统的复杂性，传统的测试充分性度量方法往往不足或不切实际，因此确保其可靠性和安全性是具有挑战性的。现有的充分性度量方法与检测生成的测试套件中的故障的能力之间存在较弱的相关性，本研究旨在填补这一差距。

论文旨在解决自主驾驶汽车（AVs）测试的可靠性和安全性问题，提出黑盒测试充分性度量标准，以评估测试套件的有效性。

提出了一组名为“测试套件实例空间充分性”（TISA）度量标准，用于评估测试套件的多样性和覆盖范围，并引入了一个框架，允许测试人员在二维空间中可视化测试套件的多样性和覆盖范围。

论文在系统级仿真测试中评估了TISA度量标准与检测到的错误数量之间的相关性，结果显示TISA度量标准具有较强的相关性和短的计算时间，具有估计AVs测试充分性的效率和有效性。

最近的相关研究包括：1. “基于深度学习的自主驾驶汽车测试”；2. “自主驾驶汽车测试的黑盒方法”；3. “自主驾驶汽车测试的白盒方法”。