Learned feature representations are biased by complexity, learning order, position, and more

表示学习和解释学习表示是机器学习和神经科学的重点领域。这两个领域通常使用表示作为了解或改进系统计算的手段。然而，在这项工作中，我们探讨了表示和计算之间令人惊讶的分离，这可能对这些努力构成挑战。我们创建了数据集，试图匹配不同特征的计算角色，同时操纵特征或数据的其他属性。我们训练各种深度学习架构来计算它们输入的多个抽象特征。我们发现，它们学习的特征表示系统地偏向于更强烈地表示一些特征，这取决于特征复杂性、学习特征的顺序和特征在输入中的分布等外部属性。例如，更简单或更早学习的特征倾向于比更复杂或后学习的特征更强烈和密集地表示，即使所有特征都学得很好。我们还探讨了这些偏差如何受到架构、优化器和训练方案的影响（例如，在变压器中，输出序列中较早解码的特征也倾向于更强烈地表示）。我们的结果有助于表征基于梯度的表示学习的归纳偏差。这些结果还凸显了解释性的关键挑战，即将外部偏差与系统内部表示的计算重要方面区分开来，或者比较模型和大脑的表示。

论文试图探讨表示学习中计算和表示之间的差异，并探索这些差异对解释性和比较模型和大脑表示的挑战。

通过创建数据集并训练不同的深度学习架构来计算多个抽象特征，作者发现学习到的特征表示系统性地偏向于更强烈地表示某些特征，这取决于特征的复杂性、学习特征的顺序以及特征在输入中的分布等外部属性。

论文探索了梯度表示学习的归纳偏差，并研究了架构、优化器和训练方式对这些偏差的影响。实验使用了不同的数据集和深度学习架构，并提供了开源代码。

相关研究包括表示学习、神经科学和深度学习中的计算和表示之间的关系，以及如何解释和比较模型和大脑的内部表示。