Machine Learning Robustness: A Primer

本章探讨了机器学习（ML）中的基本概念——鲁棒性，以及它在建立人工智能（AI）系统的可信性方面所起的重要作用。讨论始于对鲁棒性的详细定义，将其描绘为ML模型在各种意外环境条件下保持稳定性能的能力。通过几个角度来剖析ML的鲁棒性：与泛化能力的互补性、作为可信AI的要求、对抗性和非对抗性方面、定量指标以及可重现性和可解释性等指标。本章深入探讨了影响鲁棒性的因素，如数据偏见、模型复杂性以及ML流程不明确的缺陷。从广泛的角度调查了鲁棒性评估的关键技术，包括对抗性攻击，涵盖数字和物理领域。它涵盖了非对抗性数据转移和深度学习（DL）软件测试方法的细微差别。讨论逐步深入，探讨了增强鲁棒性的改善策略，从数据为中心的方法如去偏和增强开始。进一步的研究包括各种模型为中心的方法，如迁移学习、对抗性训练和随机平滑。最后，讨论了后训练方法，包括集成技术、剪枝和模型修复，这些方法是使模型更具适应性以应对不可预测性的成本效益策略。本章强调了现有方法在评估和实现ML鲁棒性方面面临的持续挑战和限制。它为未来研究提供了关键概念的见解和方向，作为可信AI系统的先决条件。

机器学习中的鲁棒性：定义、评估和改进

本文探讨了机器学习中的鲁棒性概念，认为鲁棒性是指机器学习模型在不同环境条件下保持稳定性的能力。本文从多个角度分析了机器学习鲁棒性，包括与泛化能力的关系、与可信AI的要求、对抗性与非对抗性方面、定量指标以及可复现性和可解释性等。

本文讨论了影响鲁棒性的因素，包括数据偏差、模型复杂度以及ML管道未明确规定的缺陷。本文还介绍了广泛的鲁棒性评估技术，包括对抗性攻击，以及非对抗性数据漂移和深度学习软件测试方法的细节。此外，本文还探讨了提高鲁棒性的方法，包括基于数据的方法，如去偏差和数据增强，以及基于模型的方法，如迁移学习、对抗性训练和随机平滑。最后，本文讨论了后训练方法，包括集成技术、修剪和模型修复，这些方法是使模型更具抗干扰性的有效策略。

相关研究包括：1. Explaining and Harnessing Adversarial Examples (ICLR 2015) 2. Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning (ICLR 2021) 3. A Survey of Methods for Explaining Black Box Models (ACM Computing Surveys 2018)