Can We Edit Multimodal Large Language Models?

本文聚焦于编辑多模态大语言模型（MLLMs）。相较于编辑单模态 LLMs，多模态模型的编辑更具挑战性，需要在编辑过程中进行更高水平的审查和仔细考虑。为了促进这一领域的研究，我们构建了一个新的基准，称为 MMEdit，用于编辑多模态 LLMs，并建立了一套创新的评估指标。我们进行了全面的实验，涉及各种模型编辑基线，并分析了编辑多模态 LLMs 的不同组件的影响。实证上，我们注意到以前的基线可以在一定程度上实现编辑多模态 LLMs，但效果仍然不太令人满意，表明这一任务的潜在难度。我们希望我们的工作可以为自然语言处理社区提供一些见解。代码和数据集可在 https://github.com/zjunlp/EasyEdit 上获得。

本文旨在解决多模态大语言模型（MLLMs）的编辑问题。相比较单模态LLMs的编辑，多模态模型的编辑更具挑战性，需要更高的审查水平和仔细的考虑编辑过程。

本文构建了一个新的基准测试数据集MMEdit，用于编辑多模态LLMs，并建立了一套创新的评估指标。通过各种模型编辑基线的综合实验，分析了编辑多模态LLMs不同组件的影响。

本文提出的基准测试数据集和评估指标对于未来研究有重要意义。实验结果表明，之前的基线可以在一定程度上实现多模态LLMs的编辑，但效果仍然不尽如人意，说明了这一任务的潜在困难。作者在Github上开源了代码和数据集。

在多模态LLMs的编辑方面，目前还没有太多相关研究。