Shifting the Lens: Detecting Malware in npm Ecosystem with Large Language Models

根据《Gartner 2022报告》，预计到2025年，全球45%的组织将遭受软件供应链攻击，强调了改善社区和国家利益的软件供应链安全的紧迫性。目前的恶意软件检测技术通过过滤良性和恶意软件包来帮助手动审核过程，但此类技术具有高误报率和有限的自动化支持。因此，恶意软件检测技术可以从先进的、更自动化的方法中受益，以获得准确且误报率最小的结果。本研究的目标是通过对大型语言模型（LLMs）进行实证研究，以检测npm生态系统中的潜在恶意软件，帮助安全分析师识别恶意软件包。 我们提出了SocketAI Scanner，这是一个多阶段决策制定的恶意软件检测工作流，使用迭代自我完善和零-shot-role-play-Chain of Thought（CoT）提示技术进行ChatGPT。我们研究了5,115个npm软件包（其中2,180个是恶意软件），并使用静态分析工具进行了基线比较GPT-3和GPT-4模型。我们的研究结果显示GPT模型具有低的误报率。我们的基线比较在精度得分高于25%和F1得分高于15%时表现出显著的改进。我们获得了91%和94%的精度和F1得分，分别针对GPT-3模型。总体而言，GPT-4在精度（99%）和F1（97%）得分方面表现优异，而GPT-3则在性能和支出之间提供了具有成本效益的平衡。

解决软件供应链安全问题，提高恶意软件检测的准确性和自动化程度。

使用大型语言模型（LLMs）进行恶意软件检测，提出SocketAI Scanner工作流程，采用迭代自我完善和零-shot角色扮演CoT提示技术，结合ChatGPT模型，实现多阶段决策。

通过实验研究5,115个npm包，发现GPT模型在恶意软件检测方面表现良好，GPT-3模型的精确度和F1得分分别为91%和94%，GPT-4模型的精确度和F1得分分别为99%和97%。该工作流程相比静态分析具有更高的准确性和自动化程度。

近期相关研究包括： 1. "A survey of software supply chain attacks and countermeasures"; 2. "Malware detection using machine learning: An overview and recent trends"; 3. "Deep learning-based malware detection using ensemble of convolutional neural networks and recurrent neural networks"。