ProtoS-ViT: Visual foundation models for sparse self-explainable classifications

这篇文章介绍了如何将冻结的预训练ViT骨干网络有效地转化为原型模型，用于通用和特定领域的任务，例如生物医学图像分类器。原型网络旨在基于概念的线性求和构建内在可解释的模型。然而，这些模型在透明度、紧凑性和解释性方面仍存在重要挑战。通过利用强大的空间特征和新颖的原型头，ProtoS-ViT超越了现有的原型模型，在准确性、紧凑性和可解释性方面表现出色。模型的可解释性通过广泛的定量和定性指标进行评估，这些指标可作为原型模型开发的通用基准。代码可在https://github.com/hturbe/protosvit上获得。

本文旨在探讨如何将预训练的ViT模型转化为原型模型来解决生物医学图像分类问题，并提高模型的可解释性、紧凑性和准确性。

本文提出了ProtoS-ViT，一种基于预训练的ViT骨干网络和新颖的原型头部的模型，通过利用强大的空间特征，成功地将其应用于生物医学图像分类任务中。

本文通过一系列定量和定性指标对模型的可解释性进行了评估，证明了ProtoS-ViT在准确性、紧凑性和可解释性方面的优越性。作者开放了代码并使用了多个数据集进行实验，为原型模型的发展提供了基准。

最近的相关研究包括使用原型模型解决图像分类问题的工作，如Prototypical Networks和Relation Networks。