Unexpected Benefits of Self-Modeling in Neural Systems

自我模型一直是人类认知研究和机器学习领域中备受关注的话题。但是，自我模型到底有什么好处呢？本文表明，当人工神经网络学习预测其内部状态作为辅助任务时，其会发生根本性的变化。为了更好地执行自我模型任务，网络会学习使自己更简单、更规则化、更参数高效，从而更容易被预测建模。为了验证通过自我建模实现自我正则化的假设，我们使用了一系列网络架构，在两个模态下执行了三个分类任务。在所有情况下，添加自我建模都显著降低了网络的复杂度。这种降低表现在两个方面：首先，当自我建模存在时，权重分布更窄；其次，网络复杂度的一个度量，即实对数标准阈值（RLCT），当自我建模存在时更小。不仅复杂度的度量降低了，而且随着对自我建模辅助任务的更多训练权重的分配，这种降低变得更加明显。这些结果强烈支持自我建模不仅仅是网络学习预测自己的过程，它具有重构的效果，降低了复杂度并提高了参数效率。这种自我正则化可能有助于解释最近机器学习文献中自我模型的一些好处，以及自我模型对生物系统的适应价值。特别是，这些发现可能揭示了在社交或合作环境中建模自己和更容易被他人建模之间可能的相互作用。

本论文旨在研究自模型对神经网络的影响，探究自模型的作用和机制。

通过在神经网络中添加自模型任务，可以使网络更加简化、规则化和参数高效，从而实现自我正则化。

实验结果表明，自模型任务的加入可以显著降低网络的复杂度，同时也使网络更容易被预测模型所预测。该研究为解释自模型在机器学习领域中的一些优势和生物系统中自模型的适应价值提供了一定的参考价值。

近期相关研究包括：《Learning to Learn by Self-Modeling》、《Unsupervised Learning by Predicting Noise》等。