Large Multi-modal Models Can Interpret Features in Large Multi-modal Models

近期大型多模态模型（LMMs）的发展在学术界和工业界都取得了显著的突破。一个随之而来的问题是，作为人类，我们如何理解这些模型的内部神经表示。本文初步探讨了这一问题，提出了一种多功能框架，用于识别和解释LMMs中的语义。具体来说，1）我们首先应用稀疏自编码器（SAE）将表示分解为人类可理解的特征。2）然后，我们提出了一个自动解释框架，利用LMMs自身学习到的开放语义特征来解释SAE中的特征。我们使用这一框架分析了LLaVA-NeXT-8B模型，通过LLaVA-OV-72B模型展示了这些特征能够有效引导模型的行为。我们的研究结果有助于更深入地理解为什么LMMs在特定任务中表现出色，包括情商测试，并揭示了它们错误的本质以及潜在的纠正策略。这些发现为LMMs的内部机制提供了新的见解，并暗示了其与人脑认知过程的相似之处。

该论文尝试解决如何理解和解释大型多模态模型（LMMs）内部神经表示的问题。这是一个相对较新的问题，因为随着LMMs在学术和工业界的快速发展，对其内部机制的理解变得越来越重要。

论文提出了一种框架，通过应用稀疏自编码器（SAE）来解缠模型的表示，并自动解释这些表示的语义。这一方法不仅能够帮助人类理解LMMs的内部机制，还能揭示模型在特定任务中的优势和不足。相比现有的研究，该方法更注重于利用LMMs自身的学习能力来进行解释，从而提供更深入的理解。

论文通过分析LLaVA-NeXT-8B模型，展示了如何使用LLaVA-OV-72B模型来解释其内部特征。实验设计包括情感智商测试等任务，以评估模型的表现和错误模式。此外，论文还提供了开源代码，便于其他研究者复现和进一步探索。未来的研究可以进一步优化解释框架，提高解释的准确性和可解释性。

最近在这个领域中，相关的研究还包括：1)《Interpreting Neural Representations via Learned Latent Spaces》探讨了通过学习潜在空间来解释神经表示的方法；2)《Disentangling Factors of Variation in Deep Representations》研究了如何在深度表示中解缠变化因素；3)《Visualizing and Understanding Multimodal Models》提出了多种可视化技术来理解多模态模型的内部机制。