TinyLLaVA Factory: A Modularized Codebase for Small-scale Large Multimodal Models

我们介绍了TinyLLaVA Factory，这是一个开源的模块化代码库，专注于简化代码实现、可扩展性和训练结果的可重现性，用于小规模大型多模态模型（LMMs）。遵循软件工程中工厂模式的设计理念，TinyLLaVA Factory将整个系统模块化为可互换的组件，每个组件集成了一套先进的模型和方法，同时留有扩展更多功能的空间。除了允许用户定制自己的LMMs外，TinyLLaVA Factory还提供了流行的训练配方，让用户用更少的编码工作来预训练和微调他们的模型。实证实验验证了我们代码库的有效性。TinyLLaVA Factory的目标是帮助研究人员和实践者探索使用可负担的计算资源设计和训练小规模LMMs的广阔领域。

TinyLLaVA Factory旨在为小规模大型多模型模型（LMMs）提供简单的代码实现、可扩展的新功能和可重复性的训练结果。

TinyLLaVA Factory将整个系统模块化为可互换的组件，每个组件集成了一套先进的模型和方法，同时留出了扩展更多功能的空间。

TinyLLaVA Factory不仅允许用户自定义自己的LMMs，还提供了流行的训练配方，让用户在少量编码的情况下对其模型进行预训练和微调。实验验证了代码库的有效性。

在这个领域中，还有一些相关的研究，如OpenAI的GPT和Google的BERT。