Examining Changes in Internal Representations of Continual Learning Models Through Tensor Decomposition

持续学习（CL）推动了多种方法的发展，旨在在序贯学习中巩固先前的知识。然而，这些方法的评估主要集中在最终输出上，例如预测类别准确度的变化，而忽略了模型中表示性遗忘的问题。本文提出了一种新的基于表示的CL模型评估框架。该方法涉及从持续学习过程中收集内部表示，并制定三维张量。张量是通过堆叠从几个输入和模型“快照”生成的表示（例如层激活）形成的。通过进行张量分量分析（TCA），我们旨在揭示内部表示如何演变的有意义模式，期望突出所研究的CL策略的优点或缺点。我们在不同的模型架构和基于重要性的持续学习策略以及精选的任务选择中进行分析。虽然我们方法的结果反映了各种CL策略的性能差异，但我们发现我们的方法并没有直接突出专业神经元群集，也没有提供对过滤器演变的直接理解。我们相信我们方法的缩小版本将为研究持续学习动态使用TCA的好处和缺陷提供洞察。

本论文旨在提出一种新的基于表示的评估框架，以评估连续学习模型中的表示遗忘问题。

该论文的关键思路是通过收集连续学习过程中的内部表示，并通过堆叠表示来形成三维张量，然后进行张量分量分析（TCA），以揭示内部表示如何演变，从而评估不同的连续学习策略的优劣。

论文的实验结果表明，所提出的方法可以反映各种连续学习策略性能的差异。然而，该方法并没有直接突出显示神经元的专业聚类，也没有提供对过滤器演变的直接理解。值得注意的是，该方法可以帮助我们了解使用TCA研究连续学习动态的好处和缺陷。

与该论文相关的其他研究包括：《Continual learning with hypernetworks》、《Gradient Episodic Memory for Continual Learning》等。