Decoder-only Streaming Transformer for Simultaneous Translation

这段摘要介绍了同时机器翻译（SiMT）的基本原理，即在读取源语言单词的同时生成翻译，从而实现基于源语言前缀的目标语言前缀翻译。为了实现良好的性能，SiMT利用源语言前缀和目标语言前缀之间的关系，提取策略以指导翻译生成。尽管现有的SiMT方法主要集中在编码器-解码器架构上，但由于解码器-仅架构在各种任务中具有卓越的性能和与SiMT的固有兼容性，因此我们探索了解码器-仅架构的潜力。然而，直接将解码器-仅架构应用于SiMT在培训和推理方面存在挑战。为了缓解上述问题，我们提出了第一个解码器-仅SiMT模型，名为解码器-仅流式变压器（DST）。具体而言，DST分别对源语言前缀和目标语言前缀的位置进行编码，确保目标语言前缀的位置不受源语言前缀扩展的影响。此外，我们提出了一种针对解码器-仅架构量身定制的流式自注意机制（SSA）。它能够通过评估输入源语言信息的充分性来获得翻译策略，并与软注意机制集成以生成翻译。实验证明，我们的方法在三个翻译任务上实现了最先进的性能。

在Simultaneous Machine Translation (SiMT)中，如何利用Decoder-only架构来实现更好的性能表现？

提出了一种Decoder-only Streaming Transformer (DST)模型，该模型通过Streaming Self-Attention (SSA)机制来实现翻译策略的生成，同时保证源前缀的扩展不会影响目标前缀的位置。

该模型在三个翻译任务中取得了最新的性能表现，并且提供了开源代码。值得深入研究的是SSA机制的应用和Decoder-only架构在其他任务中的表现。

最近的相关研究包括：1. Encoder-Decoder架构在SiMT中的应用；2. Transformer模型在机器翻译中的应用；3. 基于Self-Attention机制的翻译模型研究。