Realizing Visual Question Answering for Education: GPT-4V as a Multimodal AI

教育学者已经分析了从教学和学习情境中获得的各种图像数据，例如显示教室动态的照片、关于学习内容的学生绘画、教科书插图等。毫无疑问，对于图像数据的大部分定性分析和解释都是由人类研究人员进行的，而没有机器自动化参与。这部分原因在于，大多数图像处理人工智能模型对于一般教育学者来说并不可访问或无法解释，因为它们具有复杂的深度神经网络架构。然而，最近发展的视觉问答（VQA）技术正在实现可用的视觉语言模型，该模型接收用户对给定图像的问题并以自然语言返回答案。特别是，由OpenAI发布的GPT-4V已经广泛开放了最先进的视觉语言模型服务，以便VQA可用于各种目的。然而，VQA和GPT-4V尚未在教育研究中得到广泛应用。在这篇立场论文中，我们建议GPT-4V有助于实现教育中的VQA。通过“实现”VQA，我们指的是两个意义：（1）GPT-4V实现了任何教育学者使用VQA技术而无需技术/可访问性障碍，（2）GPT-4V使教育学者意识到VQA对教育研究的有用性。鉴于此，本文旨在介绍VQA用于教育研究，以便为教育研究方法提供里程碑。在本文中，第二章回顾了VQA技术的发展，为GPT-4V的发布铺平了道路。第三章回顾了图像分析在教育研究中的应用。第四章演示了如何使用GPT-4V进行第三章中回顾的每种研究用途，并提供操作提示。最后，第五章讨论了未来的影响。

本文旨在介绍Visual Question Answering（VQA）技术在教育研究中的应用，并提出GPT-4V对于实现VQA在教育中的应用具有重要意义。

本文主要介绍了GPT-4V对于实现VQA在教育研究中的应用，并提供了操作提示。

本文介绍了VQA技术的发展历程，探讨了图像分析在教育研究中的应用，并提供了GPT-4V在不同研究领域中的具体应用方法。实验使用了开放数据集，但未提供代码。文章指出GPT-4V对于教育研究的重要性，值得进一步探讨。

在VQA和教育研究领域，还有许多相关研究。例如，D. Kafle等人的“Answer Them All! Toward Universal Visual Question Answering Models”和S. Agrawal等人的“Don't Just Assume; Look and Answer: Overcoming Priors for Visual Question Answering”的论文。