An Extensive Comparison of Static Application Security Testing Tools

本文研究了静态应用程序安全测试工具（SASTTs），这些工具可以识别软件漏洞，以支持软件应用程序的安全性和可靠性。有趣的是，几项研究表明，与SASTTs相比，替代解决方案可能更有效，因为它们往往会产生误报，即低精度。本文的目的是全面评估SASTTs，为基于SASTTs或替代方案的漏洞识别机制评估和发现差距提供可靠的基准。本文的SASTTs评估基于一个受控的、但合成的Java代码库。它涉及对150万个测试执行的评估，并具有创新的方法学特征，如努力感知的准确性指标和方法级别的分析。我们的研究结果表明，SASTTs只能检测到很小范围的漏洞。与普遍的观点相反，SASTTs表现出高精度，但在召回率方面表现不佳。因此，本文建议，应将提高召回率与扩大检测漏洞类型的范围作为改进SASTTs或基于机器学习的漏洞识别解决方案的主要重点。

评估SASTTs的准确性和可靠性，以找到漏洞检测机制的差距

提出了一种基于控制的Java代码库的SASTTs评估方法，使用了新颖的方法学特征，如可感知准确度度量和方法级别分析。发现SASTTs在召回率方面表现不佳，但在精度方面表现出色。提出了增强召回率和扩大检测漏洞类型范围的方法来改进SASTTs或其他机器学习漏洞识别解决方案

使用了1.5百万次测试执行的实验，提出了新颖的方法学特征，如可感知准确度度量和方法级别分析。发现SASTTs在召回率方面表现不佳，但在精度方面表现出色

与机器学习漏洞识别解决方案和其他SASTTs评估方法进行了比较，如“Machine learning-based software vulnerability detection: A systematic literature review”、“A Comprehensive Evaluation of Static Analysis Tools for Android Security”