VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction

最近的多模态大语言模型（MLLMs）通常专注于整合视觉和文本模态，而较少关注语音在增强交互中的作用。然而，语音在多模态对话系统中起着至关重要的作用，同时在视觉和语音任务中实现高性能仍然是一个重大挑战，这是由于这两种模态之间存在根本性的差异。在本文中，我们提出了一种精心设计的多阶段训练方法，逐步训练大型语言模型（LLM），使其能够理解视觉和语音信息，最终实现流畅的视觉与语音交互。我们的方法不仅保留了强大的视觉-语言能力，还能够在不使用单独的自动语音识别（ASR）和文本转语音（TTS）模块的情况下，实现高效的语音到语音对话功能，显著加快了多模态端到端的响应速度。通过将我们的方法与最先进的同类方法在图像、视频和语音任务基准上进行对比，我们证明了我们的模型具备强大的视觉和语音处理能力，可以实现近乎实时的视觉与语音交互。

论文试图解决多模态大语言模型（MLLMs）在整合视觉和文本模态时，对语音交互的忽视问题。具体而言，它旨在克服视觉和语音任务之间的基本模态差异，实现高效且流畅的视觉与语音交互。这并不是一个全新的问题，但该研究专注于同时提升视觉和语音处理能力，从而实现近实时的多模态互动。

关键思路在于提出了一种多阶段训练方法，逐步训练大型语言模型（LLM），使其能够理解和处理视觉及语音信息。这种方法不仅保留了强大的视觉-语言处理能力，还实现了无需独立的自动语音识别（ASR）和文本转语音（TTS）模块的语音对话功能，显著提高了多模态端到端响应速度。相比现有研究，此方法的独特之处在于其一体化设计，减少了对外部模块的依赖，并提升了整体效率。

论文的亮点包括：1) 提出了一种创新的多阶段训练框架；2) 实现了高效的语音到语音对话能力；3) 在多个基准测试中展示了出色的视觉和语音处理性能；4) 支持近实时的多模态互动。此外，实验设计涵盖了图像、视频和语音任务，验证了模型的广泛适用性。虽然未明确提及代码开源情况，但研究结果为未来开发更先进的多模态系统提供了坚实基础，值得进一步探索的方向包括优化训练策略和扩展应用场景。

最近的相关研究包括：《Speech-Enhanced Multimodal Pre-training for Vision-Language Models》、《Unified Vision-Language-Speech Pre-training》以及《Multimodal Transformers for End-to-End Video Captioning and Speech Recognition》等。这些研究同样关注于多模态融合，但在语音处理方面大多依赖于传统的ASR和TTS技术。相比之下，本论文提出的方案更加一体化，减少了中间环节，提升了系统的实时性和鲁棒性。