Memory Mosaics

记忆马赛克是一组联想记忆网络，共同完成感兴趣的预测任务。与变形金刚一样，记忆马赛克具有组合能力和上下文学习能力。与变形金刚不同的是，记忆马赛克以相对透明的方式实现这些能力。我们在玩具示例中展示了这些能力，并且还展示了记忆马赛克在中等规模的语言建模任务中表现得与变形金刚一样好甚至更好。

本论文旨在介绍Memory Mosaics的概念，探讨其在语言建模任务中的表现，以及与transformers的比较。

Memory Mosaics是一种由多个关联记忆网络组成的模型，具有透明的组合能力和上下文学习能力。相比transformers，Memory Mosaics更加透明，能够在中等规模的语言建模任务中表现良好。

论文通过实验验证了Memory Mosaics在中等规模的语言建模任务中的表现，并与transformers进行了比较。论文还提供了开源代码和数据集。Memory Mosaics的透明性和组合能力是其值得关注的亮点。

近期的相关研究包括：《Attention Is All You Need》、《XLNet: Generalized Autoregressive Pretraining for Language Understanding》等。