How "Real" is Your Real-Time Simultaneous Speech-to-Text Translation System?

同步语音到文本翻译（SimulST）在演讲者讲话的同时将源语言的语音转换为目标语言的文本，确保低延迟以提高用户的理解效果。尽管其预期应用是处理无边界语音，但大多数研究集中在人类预先分段的语音上，简化了任务并忽视了重要的挑战。这种狭隘的关注点，加上术语上的广泛不一致，限制了研究成果在实际应用中的适用性，最终阻碍了该领域的发展。我们对110篇论文进行了广泛的文献综述，不仅揭示了当前研究中的这些关键问题，还为我们的主要贡献奠定了基础。我们1）定义了SimulST系统的步骤和核心组件，提出了标准化的术语和分类法；2）对社区趋势进行了深入分析；3）提供了具体的建议和未来方向，以弥合现有文献中的差距，从评估框架到系统架构，推动该领域朝着更现实和有效的SimulST解决方案发展。

该论文试图解决当前同声传译（SimulST）研究中存在的一些关键问题，包括对人类预先分割的语音数据的过度依赖、忽视实际应用场景中的挑战以及术语和分类标准的不一致性。这些问题限制了研究成果在真实世界应用中的适用性和进展。

论文提出了一种系统化的框架来定义SimulST系统的步骤和核心组件，并引入了标准化的术语和分类法。此外，它还分析了社区趋势，并为评估框架和系统架构提供了具体的建议，以弥合现有文献中的差距，推动更贴近实际应用的有效SimulST解决方案的发展。这相对于现有研究，更加注重未分割的连续语音处理，从而更好地模拟真实场景。

论文进行了广泛的文献综述，涵盖了110篇相关论文；提出了SimulST系统的标准化定义和分类；深入分析了当前研究趋势；并为未来的研究方向提供了明确的指导。值得注意的是，虽然文中未提及具体实验设计、数据集或开源代码，但强调了对这些方面改进的重要性，为后续工作指明了方向。

近期相关的研究包括： - 'End-to-End Speech Translation Without Intermediate Text'，探讨了直接从源语言语音到目标语言文本的转换。 - 'Simultaneous Translation of Unsegmented Speech'，关注未分割语音的实时翻译。 - 'Challenges in Simultaneous Speech-to-Text Translation'，讨论了SimulST面临的各种挑战及其应对策略。