Interpretable Concept-Based Memory Reasoning

深度学习系统决策过程中缺乏透明度，这是现代人工智能面临的重大挑战，因为它会影响用户依赖和验证这些系统的能力。为了解决这个问题，概念瓶颈模型（CBMs）通过将人类可解释的概念纳入深度学习架构中取得了重大进展。这种方法允许将预测追溯到用户可以理解并可能干预的特定概念模式。然而，现有的CBMs任务预测器并不完全可解释，这阻碍了对其决策过程进行全面分析和任何形式的正式验证，从而引发了重大的可靠性问题。为了弥补这一差距，我们介绍了基于概念的记忆推理器（CMR），这是一种新型的CBM，旨在提供人类可理解和可证明验证的任务预测过程。我们的方法是将每个任务预测建模为对可学习逻辑规则内存的神经选择机制，然后对所选规则进行符号评估。存在显式记忆和符号评估，使领域专家能够检查和正式验证任务预测过程的某些感兴趣的全局属性的有效性。实验结果表明，CMR实现了与最先进的CBMs相当的准确性-可解释性权衡，发现了与基本事实一致的逻辑规则，允许规则干预，并允许部署前验证。

提高深度学习系统决策过程的透明度和可验证性

引入Concept-based Memory Reasoner (CMR)模型，将任务预测建模为可解释的神经选择机制和符号评估，以允许领域专家检查和验证决策过程的有效性

CMR模型实现了可比较的准确性-可解释性权衡，发现与真实规律一致的逻辑规则，允许规则干预和预部署验证

与现有的Concept Bottleneck Models (CBMs)相比，CMR模型提供了更高的可验证性和全局属性的形式化验证方法