MIA-Bench: Towards Better Instruction Following Evaluation of Multimodal LLMs

我们介绍了一个名为MIA-Bench的新基准测试，旨在评估多模态大型语言模型（MLLMs）在严格遵循复杂指令方面的能力。我们的基准测试包括400个图像提示对，每个对都被设计为挑战模型在生成满足特定请求模式的准确响应时遵循分层指令的能力。来自各种最先进的MLLMs的评估结果显示出显著的性能差异，突出了指令准确性方面的改进空间。此外，我们创建了额外的训练数据，并探索了有监督的微调，以增强模型在严格遵循指令的能力，同时不影响其他任务的性能。我们希望这个基准测试不仅作为衡量MLLM遵循指令的工具，还能指导未来MLLM训练方法的发展。

评估多模态大型语言模型（MLLMs）在严格遵守复杂指令方面的能力，为此设计了一个新的基准测试MIA-Bench。论文试图解决的问题是如何评估MLLMs的指令遵从性，并提出改进训练方法的方案。

MIA-Bench基准测试由400个图像提示对组成，每个对都要求模型生成满足特定请求模式的准确响应。论文提出了一种新的方法来评估MLLMs的指令遵从性，即通过评估模型是否能够严格遵守复杂指令来衡量其性能。

论文发现现有MLLMs在指令遵从性方面存在显著差异，并提出了额外的训练数据和监督微调方法来提高模型的指令遵从性。此外，论文还开源了MIA-Bench基准测试和相关代码，为后续研究提供了重要资源。

最近的相关研究包括GPT-3、CLIP等多模态大型语言模型的发展和应用，以及一些基于指令的生成任务的研究，如IQA和CQG。