Disentangling Representations in RNNs through Multi-task Learning

摘要中提到，抽象或分离表示是一种有前途的数学框架，可在生物和人工系统中实现高效和有效的泛化。本文研究了多任务分类中的抽象表示，其中包括噪声证据流 - 这是一个经典的决策神经科学范式。当任务数量超过状态空间的维数时，我们推导出理论界限，保证任何最优多任务分类器的潜在状态中出现分离表示的出现。我们在实验中证实，经过多任务分类训练的循环神经网络（RNN）学习了抽象表示，以连续的吸引子的形式呈现，导致零样本的分布外（OOD）泛化。我们展示了抽象RNN表示在各种决策边界几何和需要分类置信度估计的任务中的灵活性。我们的框架提出了一种形成认知地图的通用原则，以组织知识，实现生物和人工系统的灵活泛化，并与人类和动物在决策和空间推理任务中发现的表示密切相关。

研究抽象表示在多任务分类中的应用，以及如何实现零样本泛化。

通过理论分析和实验验证，证明了多任务分类器的潜在状态中会出现抽象表示，这可以实现零样本泛化。

论文采用RNN进行实验验证，证明了抽象表示的有效性，并且展示了其在不同决策边界几何形状和分类置信度估计任务中的灵活性。该研究为认知地图的形成提供了一般原则，同时与人类和动物在决策和空间推理任务中发现的表示密切相关。

最近的相关研究包括《Disentangling Factors of Variation Using Few Labels》、《Unsupervised Learning of Disentangled Representations from Video》等。