JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation

我们介绍了JanusFlow，这是一个强大的框架，将图像理解和生成统一在一个模型中。JanusFlow引入了一种极简架构，将自回归语言模型与最新的生成建模方法——修正流相结合。我们的关键发现表明，修正流可以在大型语言模型框架内直接训练，无需复杂的架构修改。为了进一步提高我们统一模型的性能，我们采用了两种关键策略：(i) 解耦理解编码器和生成编码器；(ii) 在统一训练过程中对齐它们的表示。广泛的实验表明，JanusFlow在各自领域内的表现与专业模型相当或更优，同时在标准基准测试中显著优于现有的统一方法。这项工作代表了向更高效、更通用的视觉-语言模型迈进的一步。

JanusFlow旨在解决图像理解和生成任务在单一模型中的统一问题，减少对复杂架构修改的需求，提高模型效率和多功能性。

JanusFlow的关键思路是将自回归语言模型与最新的生成建模技术——校正流（rectified flow）相结合，通过最小化架构设计实现这一目标。此外，通过解耦理解与生成编码器，并在联合训练过程中对齐它们的表示，进一步提升了模型性能。

该论文通过广泛的实验展示了JanusFlow在标准基准测试中不仅与专业模型相媲美甚至超越，还显著优于现有的统一方法。实验设计包括多种任务，如图像分类、生成等，使用了多个标准数据集。论文还提到开源代码，便于复现和进一步研究。未来的研究可以探索更复杂的任务和更大的数据集，以进一步验证模型的泛化能力。

近期相关研究包括：1.《CLIP: Connecting Text and Images》—通过大规模预训练连接文本和图像；2.《DALL·E: Creating Images from Text》—基于文本生成高质量图像；3.《GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models》—利用扩散模型进行图像生成和编辑。这些研究都在探索如何更好地结合视觉和语言处理，但JanusFlow通过引入校正流和优化架构设计，提供了一种新的解决方案。