Nonlinear classification of neural manifolds with contextual information

理解神经系统如何通过分布式表示高效地处理信息是神经科学和机器学习交叉领域的一个基本挑战。最近的方法分析神经表示的统计和几何属性作为任务实现的种群级机械描述符。特别地，流形容量已经成为一个有前途的框架，将种群几何与神经流形的可分离性联系起来。然而，这个度量仅限于线性读出。在这里，我们提出了一个理论框架，通过利用上下文输入信息来克服这个限制。我们推导出一个精确公式，用于依赖于流形几何和上下文相关性的上下文依赖容量，并在合成和真实数据上进行验证。我们框架的增加表达能力捕捉了深度网络中早期层次的表示解缠，这在以前的分析中是不可访问的。由于上下文依赖非线性在神经系统中是普遍存在的，我们的数据驱动和理论基础的方法有望阐明跨尺度、数据集和模型的上下文依赖计算。

本论文试图解决神经系统如何通过分布式表示高效地处理信息的问题，并提出了一种新的理论框架来描述神经表示的流形容量（manifold capacity）

论文提出了一种基于上下文信息的理论框架，可以计算非线性读出时的流形容量，从而更好地描述神经表示的分离能力

论文的理论框架在合成数据和真实数据上进行了验证，能够捕捉深度网络中早期层次的表示解缠结（untanglement）现象；该方法具有数据驱动和理论基础的特点，有望推动神经系统中的上下文相关计算研究

近期的相关研究包括：《Manifold mixup: Better representations by interpolating hidden states》、《Disentangling neural representations: Analysis and applications》等