MLPs Learn In-Context

在上下文学习（ICL）方面，即仅从输入示例中解决任务的非凡能力，通常被认为是Transformer模型的独特标志。在这项研究中，我们证明了多层感知器（MLP）也可以进行上下文学习。此外，我们发现，在相同的计算预算下，MLP和密切相关的MLP-Mixer模型可以与Transformer竞争性地进行上下文学习。我们进一步展示，MLP在设计用于测试关系推理的ICL任务子集上优于Transformer。这些结果表明，上下文学习不仅适用于Transformer，而且强调了探索这种现象超越基于注意力的架构的潜力。此外，MLP在关系任务上的惊人成功挑战了关于简单连接模型的先前假设。总之，我们的结果支持“更少的归纳偏见更好”的广泛趋势，并有助于不同于任务特定架构的全MLP替代方案的日益增长的兴趣。

本论文旨在探究多层感知机（MLP）是否也具有上下文学习的能力，并比较其与Transformer模型的表现。此外，论文还试图挑战先前对于简单连接主义模型的假设。

论文发现MLP和MLP-Mixer模型可以像Transformer一样进行上下文学习，而且在一些关系推理任务中表现优于Transformer。这一结果挑战了先前对于简单连接主义模型的假设，也为探索除了基于注意力机制的架构以外的上下文学习现象提供了可能。

论文通过实验发现MLP和MLP-Mixer模型可以像Transformer一样进行上下文学习，并且在一些关系推理任务中表现优于Transformer。这一结果挑战了先前对于简单连接主义模型的假设。论文使用了多个数据集进行实验，并提供了开源代码。

最近的相关研究包括：《Attention Is All You Need》、《Do Transformers Really Perform Bad for Graph Representation?》、《MLP-Mixer: An all-MLP Architecture for Vision》等。