【电子科大与罗彻斯特大学罗杰波团队】用于可解释小样本图像分类的区域对比网络 【论文标题】Region Comparison Network for Interpretable Few-shot Image Classification 【作者团队】Zhiyu Xue , Lixin Duan , Wen Li, Lin Chen , Jiebo Luo 【发表时间】2020/09/08 【论文链接】https://arxiv.org/pdf/2009.03558.pdf 【代码链接】https://github.com/astro-zihao/mucko

【推荐理由】 本文提出了区域对比网络、区域激活映射等新技术，重点关注小样本图像分类任务中的可解释性问题。 近年来，深度学习技术在计算机视觉任务上的成功高度依赖于大量的已标注数据。然而，这一标注过程往往需要耗费大量的人力与物力。因此，小样本学习在图像分类等任务中的应用变得越来越重要，它们可以利用有限的已标注示例训练模型，从而对新类别样本进行分类。最近，基于深度迁移度量学习的工作通过学习训练集和测试集样本特征之间的相似度，在分类任务上取得了优异的性能。然而，现有的工作很少明确地考虑模型的可解释性。为此，本文作者基于度量学习提出了一种名为「区域对比网络」（RCN）的方法，它能够学习到训练集和测试集中的图片中相互关联的特定区域，从而揭示神经网络中的小样本学习的工作原理。此外，本文作者设计了一种名为「区域激活映射」（RAM）的可视化策略，通过可视化网络中的中间变量，直观地解释网络学习到了什么。本文还提出了一种将可解释性从任务级推广到类别级的新方法，这也可以看作是一种寻找典型部件以支持RCN最终决策的方法。

图 1：RCN 网络原理示意图
具体而言，如图 1(a) 所示，在传统的图像分类任务中，我们往往通过分解图像并指出其中可以影响最终分类结果的典型部分来解释推理过程。然而，由于训练策略和模型架构完全不同，这种理论并不适用于小样本图像分类。本文作者提出了一种新的理论，将小样本分类任务看作一种集成过程，从而对其进行解释。本文作者将所有区域的相似度得分通过一个区域权值组合在一个最终的相似度得分中 。 如图 1(b) 所示，本文作者通过将每个训练集手动划分为若干个片段来解决这一问题。对于每个测试样本，本文提出的方法会计算其与划分出的训练集片段的相似度。在最后的过程中，作者会将所有区域的相似度得分通过生成的权值融合在一个最终的分类决策中。

本文的贡献如下： （1）提出了一种基于对比学习的模型，从而解决小样本图像分类中的可解释性问题。与注意力机制相比，该模型可以直接在最后一层中说明最终的分类结果与区域相似度之间的关系，这是一种简单的线性过程。 （2）本文提出了一种易于解释的模块，为小样本图像分类任务作出最终的预测结果。通过学习区域的权值，该模块可以解释「训练样本中的哪种区域与测试集中的哪些区域相似，以及模型会比较其中哪些区域」等问题。为此，本文作者提出了一种「区域元学习」方法，作为一种旨在在训练、测试阶段适配不同元学习任务的动态系统。 （3）本文提出了一种易于实现的可视化策略「区域激活映射」（RAM），从而直观地现实 RCN 网络的可解释性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除