How Effective are State Space Models for Machine Translation?

Transformer是自然语言处理（NLP）中目前首选的架构，但其注意力层对于长文本并不具备良好的可扩展性。最近的一些研究提出用线性递归层来替换注意力层，这也是状态空间模型的情况，这些模型具有高效的训练和推理。然而，这些模型是否在机器翻译（MT）中与transformers相竞争仍不清楚。本文对transformers和线性递归模型在MT中进行了严格和全面的实验比较。具体来说，我们尝试了RetNet、Mamba和混合版本的Mamba，其中包括注意力机制。我们的研究结果表明，在句子和段落级别的数据集上，Mamba与transformers具有很高的竞争力，在后者中，两种模型都受益于将训练分布转向更长的序列。进一步的分析表明，将注意力集成到Mamba中可以提高翻译质量、序列长度外推的稳健性以及命名实体的召回能力。

本论文旨在比较使用线性循环层和注意力层的机器翻译模型在长文本上的性能，以及探讨将注意力层集成到线性循环模型中的效果。

本论文通过比较RetNet、Mamba以及Mamba的混合版本，证明了使用线性循环层的Mamba模型在句子和段落级数据集上与transformers模型相当，并且将注意力机制集成到Mamba模型中可以提高翻译质量、鲁棒性和实体识别能力。

论文使用了详细的实验设计来比较不同模型的性能，并使用了长文本数据集来测试模型的可扩展性。此外，论文还展示了将注意力机制集成到线性循环模型中的好处。

最近的相关研究包括《Attention Is All You Need》和《Longformer: The Long-Document Transformer》。