Constructing Multimodal Datasets from Scratch for Rapid Development of a Japanese Visual Language Model

要开发高性能的视觉语言模型（VLMs），准备多模态资源是至关重要的，这些资源包括图像-文本对、交错数据和指令数据。虽然英语的多模态资源非常丰富，但非英语语言（如日语）的相应资源却严重不足。为了解决这一问题，我们以日语为例，提出了一种从零开始快速创建日语多模态数据集的方法。我们从网络档案中收集了日语的图像-文本对和交错数据，并使用现有的VLM直接从图像生成日语指令数据。实验结果表明，基于这些本地数据集训练的VLM比依赖机器翻译内容的VLM表现更佳。

论文试图解决非英语语言，特别是日语，在视觉语言模型（VLM）训练资源上的严重不足问题。这是一个在多语言视觉语言模型开发中的重要问题，因为现有的资源主要集中在英语上。

论文提出了一种从零开始快速创建日语多模态数据集的方法，包括收集日语图像-文本对和交错数据，以及直接从图像生成日语指令数据。这种方法利用了现有的VLM来生成高质量的日语文本，从而避免了机器翻译可能引入的错误。

实验结果显示，基于这些本地化数据集训练的VLM性能优于依赖机器翻译内容的模型。此外，论文详细描述了数据收集和生成的过程，并且提供了实验设计的具体细节。虽然没有明确提到代码是否开源，但这种方法的透明度为未来的研究提供了宝贵的参考。未来的工作可以进一步探索其他非英语语言的数据集构建方法，以及如何更好地利用这些数据集来提高VLM的性能。

近期在这个领域中，还有一些相关的研究，例如《Multilingual Vision-Language Pre-training with Cross-lingual Alignment》和《X-VLM: Multilingual Vision-Language Pre-training with Cross-modal Contrastive Learning》。这些研究也关注了多语言视觉语言模型的训练，但主要集中在跨语言对齐和对比学习方法上。