Online Analytic Exemplar-Free Continual Learning with Large Models for Imbalanced Autonomous Driving Task

在自动驾驶领域，即使是经过精心训练的模型在面对陌生场景时也可能会出现失败。其中一个场景可以被制定为在线连续学习（OCL）问题。也就是说，数据以在线方式出现，模型根据这些流式数据进行更新。 OCL面临的两个主要挑战是灾难性遗忘和数据不平衡。为了解决这些挑战，本文提出了一种分析性无样本在线连续学习（AEF-OCL）。AEF-OCL利用分析连续学习原则，并采用岭回归作为由大型主干网络提取的特征的分类器。它通过递归计算分析解决方案来解决OCL问题，确保连续学习和其联合学习对应方案之间的平衡，并且无需保存任何已使用的样本（即无样本）。此外，我们引入了一个伪特征生成器（PFG）模块，该模块递归估计真实特征的偏差。 PFG生成遵循正态分布的偏移伪特征，从而解决了数据不平衡问题。实验结果表明，尽管是一种无样本策略，但我们的方法在自动驾驶SODA10M数据集上优于各种方法。源代码可在https://github.com/ZHUANGHP/Analytic-continual-learning获得。

本文旨在解决自动驾驶中的在线持续学习问题，特别是灾难性遗忘和数据不平衡问题。

本文提出了一种基于解析连续学习原理的AEF-OCL方法，该方法使用岭回归作为分类器，对大型骨干网络提取的特征进行分类。该方法通过递归计算解析解来解决OCL问题，同时不需要保存任何使用过的样本（即无需样本存储），并且引入了PFG模块来解决数据不平衡问题。

该方法在自动驾驶SODA10M数据集上表现出色，即使是无样本存储策略，也优于其他方法。此外，本文开源代码，可以在github上获得。

最近在这个领域中，还有一些相关的研究，例如《Overcoming Catastrophic Forgetting with Hard Attention to the Task》和《Gradient Episodic Memory for Continual Learning》。