HEMM: Holistic Evaluation of Multimodal Foundation Models

多模态基础模型可以在文本、图像、视频、音频和其他感官模态之间进行整体处理，已经被广泛应用于各种实际应用中。然而，鉴于可能的建模决策、任务和领域的范围，表征和研究多模态基础模型的进展是具有挑战性的。本文介绍了全面评估多模态模型（HEMM）的方法，以系统地评估多模态基础模型在三个维度上的能力：基本技能、信息流和实际应用案例。基本多模态技能是解决问题所需的内部能力，例如学习跨模态交互、细粒度对齐、多步推理和处理外部知识的能力。信息流研究多模态内容在任务中通过查询、翻译、编辑和融合的方式如何改变。使用案例涵盖了在现实世界的多媒体、情感计算、自然科学、医疗保健和人机交互应用中引入的特定领域挑战。通过在HEMM的30个任务上进行全面实验，我们确定了关键的数据集维度（例如基本技能、信息流和使用案例），这些维度对当今的模型构成了挑战，并概括了不同建模维度（例如规模、预训练数据、多模态对齐、预训练和指导调整目标）如何影响性能的性能趋势。我们得出的结论涉及具有挑战性的多模态交互、需要推理和外部知识的任务和使用案例、数据和模型规模的好处以及指导调整的影响，为未来的多模态基础模型工作提供了可操作的见解。

本文旨在系统评估多模态基础模型的能力，包括基本技能、信息流和真实世界应用。通过30个任务的全面实验，鉴定了多模态交互、需要推理和外部知识的任务的挑战，以及数据和模型规模、预训练数据、多模态对齐、预训练和指导调整目标等模型维度对性能的影响。

本文提出了Holistic Evaluation of Multimodal Models (HEMM)系统评估多模态基础模型的能力，包括基本技能、信息流和真实世界应用。通过全面实验，鉴定了多模态交互、需要推理和外部知识的任务的挑战，以及数据和模型规模、预训练数据、多模态对齐、预训练和指导调整目标等模型维度对性能的影响。

本文通过全面实验鉴定了多模态交互、需要推理和外部知识的任务的挑战，以及数据和模型规模、预训练数据、多模态对齐、预训练和指导调整目标等模型维度对性能的影响。可以为未来的多模态基础模型研究提供可操作的见解。

相关研究包括：《Multimodal Machine Learning: A Survey and Taxonomy》、《A Survey of Multimodal Machine Learning》、《Multimodal Sentiment Analysis: A Survey of the State-of-the-art Research》等。