Looped Transformers are Better at Learning Learning Algorithms

Transformers已经被Garg等人证明在上下文中解决来自各种（潜在的）模型的数据拟合问题的有效性。然而，transformer架构中缺乏内在的迭代结构，这在模拟传统机器学习方法中常用的迭代算法方面存在挑战。为了解决这个问题，我们提出了使用循环Transformer架构及其相关的训练方法，旨在将迭代特性纳入Transformer架构中。实验结果表明，循环Transformer在解决各种数据拟合问题时，性能与标准Transformer相当，同时使用的参数数量不到10%。

在transformer架构中缺乏迭代结构，无法模拟传统机器学习方法中常用的迭代算法，本文旨在提出一种循环transformer架构及其训练方法，以将迭代特征融入transformer架构中。

本文提出了一种循环transformer架构及其训练方法，以将迭代特征融入transformer架构中，从而解决了transformer架构中缺乏迭代结构的问题。

本文的循环transformer架构在解决各种数据拟合问题时，性能与标准transformer相当，但参数数量不到标准transformer的10%。实验使用了各种数据集，但没有提供开源代码。本文的方法对于解决transformer架构中缺乏迭代结构的问题具有重要意义。

最近的相关研究包括：1. Garg等人的研究表明，transformer在解决各种数据拟合问题时具有有效性；2. 许多研究人员正在尝试将迭代特征融入transformer架构中，以提高其性能。