Machine Learning Robustness: A Primer

本章探讨了机器学习（ML）中的稳健性基本概念及其在确立人工智能（AI）系统的可信度方面的重要作用。讨论始于对稳健性的详细定义，将其描述为ML模型在各种变化和意外环境条件下保持稳定表现的能力。通过多个角度剖析了ML稳健性：与泛化能力的互补性、作为可信AI的要求、对抗性和非对抗性方面、定量指标以及可重现性和可解释性等指标。本章深入探讨了影响稳健性的因素，如数据偏差、模型复杂性以及ML流程未明确规定的缺陷。从广泛的视角调查了稳健性评估的关键技术，包括对抗性攻击，涵盖数字和物理领域。涵盖了非对抗性数据转移和深度学习（DL）软件测试方法的微妙之处。讨论逐步深入，探讨了增强稳健性的改进策略，从数据中心方法如去偏和增强开始。进一步研究包括各种面向模型的方法，如迁移学习、对抗性训练和随机平滑。最后，讨论了训练后方法，包括集成技术、修剪和模型修复，这些方法成为使模型对不可预测性更具弹性的成本效益策略。本章强调了现有方法在估计和实现ML稳健性方面的持续挑战和限制。它为未来关于这个重要概念的研究提供了见解和方向，作为可信AI系统的先决条件。

探讨机器学习中的鲁棒性概念及其在确保人工智能系统可信度方面的重要性。

机器学习模型的鲁棒性是指其在各种不同和意外的环境条件下保持稳定性能的能力。论文从多个角度剖析了鲁棒性的概念，包括其与泛化能力的互补性、作为确保可信度的要求、对抗与非对抗方面、定量指标以及可重复性和可解释性等。

论文讨论了影响鲁棒性的因素，包括数据偏差、模型复杂度以及ML流水线的缺陷。论文还介绍了多种提高鲁棒性的方法，包括基于数据的方法、基于模型的方法和训练后方法。此外，论文还探讨了现有方法在估计和实现鲁棒性方面的挑战和限制。

相关研究包括：Towards Robustness and Certifiability for Deep Neural Networks、Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning、Deep Learning with Differential Privacy、A Survey of Learning-Based Privacy-Preserving Data Publishing