MIA-Bench: Towards Better Instruction Following Evaluation of Multimodal LLMs

我们介绍了MIA-Bench，这是一个新的基准测试，旨在评估多模态大型语言模型（MLLMs）在严格遵守复杂指令方面的能力。我们的基准测试包括一个多样化的数据集，共400个图像提示对，每个提示对都经过精心设计，旨在挑战模型遵循分层指令生成满足特定请求模式的准确响应的能力。来自各种最先进的MLLMs的评估结果显示出显著的性能差异，突出了指令忠实度方面的改进空间。此外，我们创建了额外的训练数据，并探索了监督微调，以增强模型在严格遵守指令的能力，而不会影响其他任务的性能。我们希望这个基准测试不仅作为衡量MLLM遵循指令的工具，而且还能指导未来MLLM训练方法的发展。

MIA-Bench：评估多模态大语言模型的指令遵循能力

MIA-Bench是一个新的基准测试，旨在评估多模态大语言模型在严格遵循复杂指令方面的能力。通过对400个图像提示对进行测试，展示了当前最先进的多模态大语言模型在指令遵循方面的性能差异，并提出了一些改进的方向。此外，还提出了一种基于监督微调的方法来增强模型的指令遵循能力。

论文通过MIA-Bench基准测试对多模态大语言模型的指令遵循能力进行了评估，并提出了一种基于监督微调的方法来增强模型的指令遵循能力。实验结果表明，当前最先进的多模态大语言模型在指令遵循方面存在显著的性能差异，并且可以通过增加训练数据和微调等方式来改进模型的性能。

在这个领域中，最近的相关研究包括GPT-3、DALL-E、CLIP等。