The Evolution of Multimodal Model Architectures

这项研究独特地识别和描述了当今多模态领域中四种常见的多模态模型架构类型。通过按照架构类型系统地分类模型，有助于监控多模态领域的发展。与最近的综述论文不同，这项研究对架构细节进行了全面的探索，并确定了四种具体的架构类型。这些类型是通过它们各自的方法将多模态输入集成到深度神经网络模型中来区分的。前两种类型（类型A和B）在模型的内部层中深度融合多模态输入，而后两种类型（类型C和D）则在输入阶段实现早期融合。类型A采用标准的交叉注意力，而类型B则利用自定义设计的层在内部层中进行模态融合。另一方面，类型C利用模态特定的编码器，而类型D则利用分词器处理模态在模型的输入阶段。所确定的架构类型有助于监控任何-任何多模态模型的发展。值得注意的是，类型C和类型D目前在构建任何-任何多模态模型方面备受青睐。类型C以其非分词的多模态模型架构而脱颖而出，正在成为一种可行的替代方案，而类型D则利用输入分词技术。为了协助模型选择，这项研究基于数据和计算需求、架构复杂性、可扩展性、添加模态的简化、训练目标和任何-任何多模态生成能力，突出了每种架构类型的优缺点。

本论文旨在识别和描述当今多模态领域中四种常见的多模态模型架构类型，并通过架构类型的系统分类来便于监测多模态领域的发展。

本论文通过深入探索架构细节，识别了四种特定的架构类型，这些类型通过各自的方法将多模态输入集成到深度神经网络模型中。

本文通过分类讨论不同架构类型的优缺点，包括数据和计算需求、架构复杂度、可扩展性、训练目标以及任意到任意多模态生成能力等方面，有助于模型选择。

最近的相关研究主要是关于多模态架构的一般信息和模型结构，而本文则通过分类探讨了四种具体的架构类型。