Concept Bottleneck Models Without Predefined Concepts

近年来，对可解释的基于概念的模型，如概念瓶颈模型（CBMs）引起了相当大的关注，这些模型首先预测人可解释的概念，然后将它们映射到输出类别。为了减少对人类注释概念的依赖，最近的研究将预训练的黑盒模型后期转换为可解释的CBMs。然而，这些方法预定义了一组概念，假设黑盒模型在其表示中编码了哪些概念。在这项工作中，我们通过利用无监督的概念发现来消除这种假设，以自动提取概念，而无需人类注释或预定义的概念集。我们进一步引入了一种依赖于输入的概念选择机制，以确保在所有类别中仅使用少量概念。我们表明，我们的方法提高了下游性能，并缩小了与黑盒模型之间的性能差距，同时在分类中使用了显著更少的概念。最后，我们展示了大型视觉语言模型如何介入最终模型权重以纠正模型错误。

本论文旨在通过无监督概念发现来消除预定义概念的假设，自动提取概念，进而提高模型的性能和减少使用的概念数量。同时，论文还介绍了大型视觉语言模型如何干预最终模型权重以纠正模型错误。

本论文的关键思路是使用无监督概念发现来自动提取概念，同时引入了输入相关的概念选择机制，以确保所有类别中仅使用少量的概念。这种方法可以提高下游性能，缩小与黑盒模型之间的性能差距，同时在分类中使用的概念数量明显减少。

本论文使用了无监督概念发现的方法，提出了一个新的模型结构来自动提取概念，并引入了输入相关的概念选择机制。实验结果表明，这种方法可以提高模型的性能，并减少使用的概念数量。此外，论文还介绍了大型视觉语言模型如何干预最终模型权重以纠正模型错误。

近年来，有许多研究致力于解释性概念模型，如CBMs。同时，还有一些研究将预训练的黑盒模型转换为可解释的CBMs后处理。此外，还有一些研究使用无监督学习方法来发现概念，但这些方法没有考虑到如何将这些概念应用于分类任务。