On Security Weaknesses and Vulnerabilities in Deep Learning Systems

AI技术支持的软件系统（特别是以深度学习技术为核心）的安全保障对于防范利用软件漏洞的对抗性攻击至关重要。然而，对于这类系统的漏洞问题，人们并没有给予足够的关注。从开源软件社区学到的一个普遍情况是，深度学习工程师经常将现成的或开源的学习框架集成到他们的生态系统中。在这项工作中，我们特别研究了深度学习框架，并通过对已经确定的来自公共漏洞和曝光(CVE)以及开源深度学习工具（包括TensorFlow、Caffe、OpenCV、Keras和PyTorch）的漏洞的全面分析，进行了对深度学习系统漏洞的第一次系统研究。我们提出了一个两流数据分析框架，以探索来自各种数据库的漏洞模式。我们研究了独特的深度学习框架和库开发生态系统，这些生态系统似乎是分散和碎片化的。通过重新审视常见弱点枚举(CWE)列表，该列表提供了传统的与软件漏洞相关的做法，我们发现在整个深度学习系统的生命周期中检测和修复漏洞更具挑战性。此外，我们进行了一项大规模的实证研究，对3,049个深度学习漏洞进行了更好地理解漏洞模式和修复难点。我们在https://github.com/codelzz/Vulnerabilities4DLSystem上发布了完整的复制包。我们预计我们的研究可以推动安全的深度学习系统的发展。

本论文旨在通过对常见漏洞和开源深度学习工具（包括TensorFlow、Caffe、OpenCV、Keras和PyTorch）的全面分析，对深度学习系统中的漏洞进行系统研究，以提高深度学习系统的安全性。

本论文提出了一个双流数据分析框架来探索来自各种数据库的漏洞模式，并发现深度学习框架和库的开发生态系统是分散和碎片化的。通过重新审视常见弱点枚举（CWE）列表，本论文发现在深度学习系统的生命周期内检测和修复漏洞更具挑战性。

本论文进行了大规模的实证研究，分析了3,049个深度学习漏洞的模式和修复难度。研究人员还发布了完整的复制包，包括开源代码和数据集。本论文的研究结果有助于提高深度学习系统的安全性。

最近的相关研究包括：《DeepHunter：一个有效的深度神经网络漏洞检测系统》、《DeepSEC：使用深度学习技术进行软件漏洞检测》、《DeepFuzz：使用深度学习来进行模糊测试》等。