Speech Translation with Speech Foundation Models and Large Language Models: What is There and What is Missing?

自然语言处理（NLP）领域最近经历了一次变革性转变，尤其是基于大型语言模型（LLMs）的基础模型的出现，彻底改变了基于文本的NLP。这一范式已经扩展到其他模态，包括语音，研究人员正在积极探索将语音基础模型（SFMs）和LLMs结合成单一的统一模型，以解决多模态任务。在这些任务中，本文重点关注语音到文本的翻译（ST）。通过研究已发表的论文，我们提出了一个统一的观点，总结了迄今为止提出的架构解决方案和训练策略，突出了它们之间的相似性和差异性。基于这个研究，我们不仅整理了所学到的经验教训，还展示了不同的设置和评估方法如何妨碍了对每个架构构建块和训练选择的最佳性能解决方案的识别。最后，我们概述了针对该主题的未来工作建议，旨在更好地了解SFM+LLM解决方案在ST方面的优势和劣势。

本论文旨在探索将语音基础模型（SFM）和大型语言模型（LLM）相结合的解决方案，以解决语音到文本翻译（ST）的多模态任务。作者试图总结已有的文献，提出一个统一的架构和训练策略，并为未来的研究提供建议。

本论文的关键思路是将SFM和LLM相结合，形成单一的模型来解决ST任务。论文总结了已有的架构和训练策略，并提出了未来研究的建议，以更好地理解SFM+LLM解决ST的优缺点。

本论文的亮点包括：总结了已有的架构和训练策略，提出了未来研究的建议；使用了多个数据集进行实验，并对比了不同模型的表现；该领域的研究仍存在许多挑战，例如如何平衡模型的大小和准确性。

最近在这个领域的相关研究包括：1）《End-to-End Speech Translation with Knowledge Distillation》；2）《A Comparative Study of End-to-End Speech Translation Systems》；3）《Multimodal End-to-End Speech Translation》。