Black-Box Access is Insufficient for Rigorous AI Audits

AI系统的外部审计越来越被认为是AI治理的关键机制。然而，审计的有效性取决于审计员被授予的系统访问权限。最近对最先进的AI系统的审计主要依赖于黑盒访问，其中审计员只能查询系统并观察其输出。然而，对系统内部工作方式（例如权重、激活、梯度）的白盒访问使审计员能够执行更强的攻击，更全面地解释模型，并进行微调。同时，对其培训和部署信息的盒外访问（例如方法论、代码、文档、超参数、数据、部署细节、内部评估结果）允许审计员审查开发过程并设计更有针对性的评估。在本文中，我们研究了黑盒审计的局限性以及白盒和盒外审计的优点。我们还讨论了执行这些审计的技术、物理和法律保障，以最小化安全风险。鉴于不同形式的访问可能导致非常不同的评估水平，我们得出结论：（1）透明度关于审计员使用的访问和方法对于正确解释审计结果是必要的，（2）白盒和盒外访问比仅有黑盒访问允许进行更全面的审查。

外部审计越来越被认为是AI治理的关键机制。然而，审计的有效性取决于审计员获得的系统访问权限。本文试图解决的问题是黑盒审计的局限性，并探讨白盒和盒外审计的优势。

本文提出了白盒和盒外审计的概念，并比较了它们与传统黑盒审计的优劣。同时，本文还讨论了执行这些审计的技术、物理和法律保障。

本文的亮点包括：探讨了不同形式的审计访问权限对审计结果的影响；提出了白盒和盒外审计的概念；讨论了执行这些审计的保障措施；强调了透明度的重要性。

与本文相关的研究包括：审计AI系统的方法和技术；AI治理的实践和挑战；AI透明度和解释性的研究。