When Can Transformers Count to n?

基于Transformer结构的大型语言模型可以解决高度复杂的任务。但是，是否存在简单的任务这些模型无法解决？在这里，我们关注非常简单的计数任务，涉及计算词汇表中一个标记在字符串中出现的次数。我们表明，如果Transformer状态的维度与上下文长度成线性关系，则可以解决此任务。然而，我们提出的解决方案无法扩展到超出此限制的范围，并提供理论论据，说明限制大小的Transformer实现此任务可能是不可能的。我们的实证结果证明了理论论证预期的性能相同的相变。我们的结果表明了理解Transformer如何解决简单任务的重要性。

论文探讨了基于Transformer架构的大型语言模型在解决简单计数任务时的局限性。研究人员试图证明当Transformer状态的维度与上下文长度成线性关系时，可以解决这种任务，但是这种解决方案无法扩展到更大的上下文长度。论文旨在探究Transformer模型在解决简单任务时的局限性。

论文提出了一种基于线性状态维度的解决方案，用于解决简单计数任务。该方案可以解决上下文长度与状态维度成线性关系的任务。但是，论文提出了理论论证，指出这种方案无法扩展到更大的上下文长度。这种解决方案的关键思路是将计数任务转化为序列标注任务，并使用Transformer模型来解决。

论文通过实验验证了该解决方案的局限性，并提供了理论论证。实验结果表明，当状态维度与上下文长度成线性关系时，该方案可以解决简单计数任务。但是，当上下文长度增加时，该方案的性能会急剧下降。论文提供了一种新的思路来解决计数任务，并指出了Transformer模型在解决简单任务时的局限性。

最近的相关研究主要集中在Transformer模型的应用和改进方面。例如，有研究提出了用于解决长文本生成任务的Transformer-XL模型。还有一些研究致力于改进Transformer模型的训练和推理效率。相关论文包括“Attention is All You Need”和“Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context”。