Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs

虽然自动检测加密API滥用的技术已经取得了显著进展，但由于依赖于手动定义的模式，其精度对于复杂目标有所降低。以其上下文理解而闻名的大型语言模型（LLM）为解决现有缺点提供了一个有前途的途径。然而，在这个安全关键的领域应用LLM存在挑战，特别是由于LLM的随机性和幻觉问题导致的不可靠性。为了探索LLM的不可靠分析的普遍性和潜在解决方案，本文引入了一个系统评估框架，以评估LLM在检测加密滥用方面的能力，利用了包括手工制作的样本和真实项目在内的全面数据集。我们对11,940个LLM生成的报告进行了深入分析，发现LLM固有的不稳定性可能导致超过一半的报告是误报。然而，我们展示了一个受限的问题范围和LLM的自我修正能力相结合的优化方法如何显著提高检测的可靠性。优化后的方法实现了近90%的显著检测率，超过了传统方法，并揭示了已建立基准中以前未知的滥用。此外，我们确定了持续阻碍LLM可靠性的失败模式，包括加密知识缺乏和代码语义误解。在这些见解的指导下，我们开发了一个基于LLM的工作流程来检查开源存储库，发现了63个真实的加密滥用。其中46个已经得到开发社区的认可，23个正在处理中，6个已经解决。根据开发者的反馈，我们提出了未来研究和基于LLM的安全工具开发的建议。

本论文旨在探究使用大型语言模型（LLMs）检测加密API误用的可行性和局限性，并提出一种系统性评估框架。

使用LLMs可以有效提高加密API误用检测的准确性，但其随机性和幻觉问题仍然存在。通过限定问题范围和结合自我修正能力，可以显著提高检测的可靠性。

论文使用了一个综合数据集，包括手工样本和真实项目，并进行了深入分析。优化后的方法检测率达到近90％，超过传统方法，并发现了一些之前未知的误用。作者还开发了一个基于LLMs的工作流程，并在开源代码库中发现了63个真实的加密API误用。

在相关研究方面，文中提到了许多以前的工作，包括基于规则的方法和传统机器学习方法。