PVF (Parameter Vulnerability Factor): A Quantitative Metric Measuring AI Vulnerability Against Parameter Corruptions

AI系统的可靠性是AI技术成功部署和广泛应用的基本关注点。不幸的是，AI硬件系统日益复杂和异构，使其越来越容易受到硬件故障（例如位翻转）的影响，这些故障可能会损坏模型参数。当这种情况发生在AI推理/服务过程中时，可能会导致用户获得不正确或降级的模型输出，最终影响AI服务的质量和可靠性。鉴于不断升级的威胁，解决关键问题至关重要：AI模型对参数损坏的脆弱性如何，模型的不同组件（例如模块、层）如何展现出不同的参数损坏脆弱性？为了系统地解决这个问题，我们提出了一种新的量化指标，参数脆弱性因子（PVF），受计算机体系结构社区中的架构脆弱性因子（AVF）的启发，旨在标准化对AI模型脆弱性的量化评估。我们将模型参数的PVF定义为该特定模型参数损坏会导致不正确输出的概率。在本文中，我们提供了几个应用PVF于推理过程中的三种类型任务/模型（推荐（DLRM）、视觉分类（CNN）和文本分类（BERT））的用例，并对DLRM进行了深入的脆弱性分析。PVF可以为AI硬件设计者提供关键见解，以平衡故障保护与性能/效率之间的权衡，例如将易受攻击的AI参数组件映射到受保护的硬件模块。PVF指标适用于任何AI模型，并有潜力帮助统一和标准化AI脆弱性/弹性评估实践。

如何评估AI模型对参数损坏的脆弱性？

提出了一种新的量化指标PVF，用于衡量AI模型对参数损坏的脆弱性，并对三种任务/模型进行了应用和分析。

论文提出的PVF指标可以帮助硬件设计师在保护模型免受硬件故障的同时，平衡性能和效率。实验使用了DLRM、CNN和BERT三种模型，并对DLRM进行了深入的脆弱性分析。

近期相关研究包括《Quantifying the Robustness of Neural Networks through Logical Analysis》、《Towards Evaluating the Robustness of Neural Networks》等。