LucidPPN: Unambiguous Prototypical Parts Network for User-centric Interpretable Computer Vision

Prototypical parts networks结合了深度学习的强大能力和基于案例的推理的可解释性，以做出准确且可解释的决策。它们遵循“这个看起来像那个”的推理方式，用训练图像中的补丁表示每个原型部分。然而，单个图像补丁包含多个视觉特征，比如颜色、形状和纹理，这使得用户难以确定模型所重视的特征。 为了减少这种不确定性，我们引入了Lucid Prototypical Parts Network (LucidPPN)，这是一种新颖的原型部分网络，将颜色原型与其他视觉特征分离。我们的方法采用两个推理分支：一个用于非颜色视觉特征，处理灰度图像，另一个专注于颜色信息。这种分离使我们能够澄清模型决策是基于颜色、形状还是纹理。此外，LucidPPN确定了与分类对象的语义部分相对应的原型部分，使数据类之间的比较更具直观性，例如，当两个鸟类主要区别在于腹部颜色时。 我们的实验表明，这两个分支是互补的，共同实现了与基准方法可比较的结果。更重要的是，LucidPPN生成的原型部分更少含糊，增强了用户的理解。

本论文旨在解决原型部件网络在处理单个图像补丁时，难以确定模型所依赖的视觉特征的问题。同时，该论文还试图解决如何更好地识别语义部件并使数据类之间的比较更加直观的问题。

LucidPPN是一种新型的原型部件网络，将颜色原型与其他视觉特征分开处理，从而使模型的决策基于颜色、形状或纹理更加明确。此外，LucidPPN能够识别与分类对象的语义部件相对应的原型部件，使数据类之间的比较更加直观。

LucidPPN的两个推理分支互补，可以达到与基线方法相当的结果。LucidPPN生成的原型部件更少含有歧义，提高了用户的理解。论文使用了多个数据集进行实验，并且提供了开源代码。

最近的相关研究包括：《Prototypical Parts Network for Few-shot Learning》、《Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector》等。