自动化所刘成林团队 | 统一分类与拒识: 一种一对多框架

 

Machine Intelligence Research

开放环境模式识别涉及对已知类别的模式进行分类，并拒识歧义和未知类别的(也称为分布外(OOD))输入。深度神经网络通常在封闭集分类方面表现出色，而在拒识OOD输入方面表现不佳。为了解决这一问题，以往的方法大多采用置信度转换的后处理方式或者训练混合模型，在确保已知类别可区分的同时，OOD输入获得较低置信度分数。中国科学院自动化研究所刘成林研究员团队尝试为分类与拒识任务构建一个统一的开放集分类器框架，其可同时支持分类、OOD样本拒识及错分(歧义)样本拒识。作者将分类与拒识任务形式化为一个带额外未知类的分类问题，并仅在已知类别样本上训练模型。通过使用一对多训练策略结合Dempster–Shafer证据理论，推导得到已知类和未知类的后验概率，对分类和拒识给出了统一的决策规则。该方法同时在分类、OOD拒识和错分拒识方面得到优异性能。相关成果已发表于《机器智能研究(英文)》2024年第5期中。

代码请见

https://github.com/zhen-cheng121/CPN_OVA_unified. 

图片来自Springer

近年来，深度神经网络(DNN)被广泛应用于模式识别领域。不同于依赖人工设计提取特征的传统分类器，DNN通过特征表示学习获得了出色的分类性能。高分类性能是行人重识别、医疗诊断和自动驾驶等高风险应用场景中所需要的。然而，除了分类准确性，DNN却容易受到反常的或离群的输入(也被称为异常的、全新的、未知的、分布外的(OOD)输入等)的影响，例如：那些不属于已知类别的样本(已知类别指的是训练分类器时见过的类别)。

由于训练DNN的主要目标是在特征空间中区分已知类别，因此会将特征空间划分为与已知类别相对应的决策区域。所以，离群输入很可能落入已知类别的决策区域，并以高置信度被归入已知类别，这就带来了过度自信问题。为了解决这个问题，研究人员提出了许多方法来处理所谓的开放集识别(OSR)或OOD拒识/检测任务。

OOD检测可视为OSR的一个子任务，主要涉及OOD样本与已知类(也称为分布内(InD))样本的区分，可以将其看成一个二分类任务。常用的基于多类分类目标(例如交叉熵CE)训练的分类器的输出置信度不能很好地区分OOD输入，如基于最大softmax概率(MSP)的方法，其使用softmax函数的输出作为OOD检测的置信度，不能保证OOD拒识性能。针对这个问题，很多方法设计新的置信度函数通过对分类器输出进行变换来扩大InD和OOD样本之间的输出差距。一些新提出的置信度函数，例如：Energy Score、ViM和KNN等，在OOD检测上的性能取得了显著提升。另一类方法是利用辅助的离群数据，因为模型拒识OOD输入较弱是因为缺乏未知类别分布的知识。其中最有效的方法之一是离群数据曝光(OE)，利用自然的离群图像来辅助训练模型。然而，训练过程中并不总是有离群数据，而且很难保证离群数据涵盖各种模式类别。因此，最好设计没有离群数据训练的分类器。

另一方面，开放集识别同时考虑了InD分类和OOD拒识/检测，并假设训练中没有可用的OOD数据，这也称为广义OOD检测问题。OSR的众多方法可以按模型架构(生成式、判别式、混合式)或学习/置信度评分策略(端到端学习或置信度后处理)的维度进行分类。流行的DNN(例如卷积神经网络)属于判别模型，其训练目的是区分已知类别，忽略了OOD输入的边界。生成模型(例如自编码器)为每个类别学习一个子空间或局部区域，OOD检测可以基于已知类别的概率密度函数或到局部区域(或原型)的距离。混合方法，如使用多个模型分别处理分类和拒识任务。在学习层面，卷积原型网络(CPN)和类别语义重建(CSSR)方法是端到端训练模型，其将已知类别的局部分布考虑其中，以便输出距离分数用以区分OOD输入。在后处理方面，很多方法根据预训练网络的logit输出设计OOD的置信度函数，而不考虑训练过程中的问题。

本文试图构建一个统一的OSR框架，使用单个分类器同时执行InD分类和OOD拒识，且无需在训练过程中使用分布外数据，如图1所示。为了对InD和OOD类别之间的边界进行建模，本文使用了一对多(OVA)学习方法，该方法将一个已知类视为正类，而将其余已知类样本的并集视为负类，因此OOD类包含在负类中，且无论是否有真实OOD样本，学习都可以进行。若进一步假设每个已知类别都有一个局部区域分布，使用密度函数、子空间或原型，就可以根据与已知类别的最大概率密度或最小距离来拒识OOD样本。

 图1 统一了分类与拒识的模型。该模型的主要目标是尽可能准确地对InD样本进行分类(InD √)，并拒识可能分类错误的样本(InD ×)和OOD样本。

通过将二分类概率组合成多分类后验概率，OVA分类器可以在贝叶斯分类框架下进行分析。对于K类分类问题，使用Dempster-Shafer证据理论(DSTE)组合OVA输出的二分类概率，可以得到K+1类(包括OOD类)的后验概率。这一结果使已知类的分类、OOD和歧义(错分)样本的拒识在一个贝叶斯决策规则(最大后验概率决策)中实现。考虑到OVA学习可能会牺牲InD分类的准确性，且各类别logits的独立训练不会考虑到多类别间的边界问题，因此本文还提出了一种混合学习策略，通过将OVA和多类目标(如CE)相结合，从而在实现OOD拒识的同时保持闭集分类的准确性。

为了验证本研究提出的统一OSR框架，本文利用最近提出的卷积原型网络CPN和以ViT为主干网络的原型分类器来完成OVA和混合学习策略，实验结果表明，本研究提出的框架在闭集分类、OOD检测和错误分类检测方面表现出了强劲的性能。本文进一步讨论了统一框架的重要性：(1)统一模型更适用于真实场景。以疾病诊断为例，诊断系统可能同时遇到未知类别的样本和已知类别中的错误分类样本。除了分类能力之外，一个可靠的识别器还应该能够同时检测到这两种不正常的情况。(2)提出一个统一的框架是一个具有挑战性的问题。最近的一些研究呼吁同时处理OOD检测和错分样本检测任务，并表明同时检测两类错误是具有挑战性的任务。本文旨在进一步探索解决这一挑战的方法。

本文的贡献可总结为：

(1)本文提出了一个统一的OSR框架，使用单个分类器执行多类分类和OOD检测任务，该框架由OVA学习训练而成，训练中不包含分布外样本。

(2)本文表明，通过使用Dempster-Shafer证据理论组合OVA分类器的二元后验概率，可以从已知类别的OVA分类器输出中获得 (K+1)类别后验概率，从而实现贝叶斯分类框架下的分类和拒识。

(3)为了保持OVA分类器的闭集分类准确性，本文提出了一种混合学习策略，通过结合OVA和多类CE损失来保证分类和拒识性能。

(4)本文利用卷积原型网络和ViT主干实现了OVA框架和混合学习策略，并在流行的OSR和OOD数据集上验证了其在分类、OOD和错分样本检测方面的显著性能。