Mechanistic Interpretability for AI Safety -- A Review

理解人工智能系统内部运作对于确保价值观一致和安全至关重要。这篇综述探讨了机械解释性：将神经网络学习的计算机制和表示反向工程成人类可理解的算法和概念，以提供细粒度、因果性的理解。我们建立了基础概念，例如特征编码神经激活中的知识及其表示和计算的假设。我们调查了因果分析模型行为的方法，并评估了机械解释性对于人工智能安全性的相关性。我们调查了可扩展性、自动化和全面解释等方面的挑战。我们主张澄清概念、制定标准并扩展技术以处理复杂的模型和行为，并扩展到视觉和强化学习等领域。机械解释性可以帮助防止人工智能系统变得更加强大和不可理解时出现灾难性后果。

机械性可解释性的重要性和挑战是什么？

通过反向工程神经网络的计算机制和表示，将其转化为人类可理解的算法和概念，提供细粒度、因果性的理解，以实现机械性可解释性。

论文介绍了神经网络中特征编码知识的概念和假设，评估了机械性可解释性对于AI安全的相关性，探讨了可扩展性、自动化和全面性解释的挑战。文章呼吁明确概念、制定标准，并扩展到视觉和强化学习等领域。

相关研究包括：'Visualizing and Understanding Convolutional Networks'、'Interpretable Machine Learning: A Brief History, State-of-the-Art and Challenges'、'Towards A Rigorous Science of Interpretable Machine Learning'等。