Pragmatic auditing: a pilot-driven approach for auditing Machine Learning systems

机器学习系统的广泛应用和部署带来了其所面临的伦理事件和社会关切。这也揭示了在伦理原则的指导下适当审计这些系统的必要性。要使这种新型算法审计成为标准实践，需要具备两个主要前提条件：一个专门针对透明度和问责制的生命周期模型，以及一个有原则的风险评估程序，允许适当地限定审计范围。为了迈向更广泛的机器学习审计采用，我们提出了一个相应的程序，扩展了欧洲委员会发布的AI-HLEG指南。我们的审计程序基于一个机器学习生命周期模型，明确关注文档编制、问责制和质量保证，并作为审计人员和被审计组织之间对齐的共同基础。我们描述了两个在两个不同组织的真实用例上进行的试点，并讨论了机器学习算法审计的缺点以及未来方向。

如何进行机器学习算法的审计以满足透明度和责任制的要求？

提出了一种基于机器学习生命周期模型的审计程序，注重文档记录、责任制和质量保证。

论文描述了两个真实世界用例的试点，并讨论了机器学习算法审计的不足之处和未来方向。

AI-HLEG指南，以及最近的机器学习算法审计相关研究。