论文 | arXiv 2025 | Mini-Labs: 人工智能迷你实验室

本文提出了人工智能支持的迷你实验室的概念，将基于智能手机的实验与多模态大型语言模型 (MLLM) 相结合。智能手机凭借其集成的传感器和强大的计算能力，成为物理教育中多功能的移动实验室。虽然它们能够收集丰富的实验数据，但对复杂日常现象的分析在课堂上往往受到限制。MLLM 的进步如今使学习者能够处理多模态数据、文本、图像、音频和视频，并在实验设计、数据分析和科学解释方面获得支持。三个案例研究突出了这种方法：根据加速度计数据确定车辆阻力系数，通过分析闪电产生的信号（以音频频谱图的形式）测量电离层反射高度，以及使用智能手机视频实时分析血容量动态。结果显示出比传统方法明显的优势，包括节省时间、高质量的可视化和个性化指导。除了简化数据分析之外，人工智能增强的袖珍实验室还能培养表征能力、批判性思维和 21 世纪技能。这种混合方法为个性化和基于探究的科学教育提供了一条有希望的途径，但还需要进一步研究来评估长期学习效果和潜在风险。

单位：慕尼黑路德维希马克西米利安大学、劳伦斯利弗莫尔国家实验室

📌 背景

多媒体学习一直是物理教育的一个话题——无论是通过专门的数字数据采集系统、模拟还是动画。由于数字化程度不断提高，我们日常生活中越来越多的媒体也在近几十年进入了教育领域。

基于智能手机的移动迷你实验室

因此，在过去的近15年中，人们一直在探索智能手机和平板电脑作为物理教育中强大实验工具的潜力（沃格特、穆勒和库恩，2009年；库恩和沃格特，2012年）。这些移动设备已经悄然演变成全球科学课堂上的高度复杂测量平台。它们集成了加速度计、陀螺仪、激光雷达传感器、磁力计、麦克风、微波天线（WiFi、蓝牙和GPS）以及多摄像头等多种传感器，能够记录广泛的物理数据。这使得它们成为便携的“迷你实验室”，使学生能够使用他们随身携带的技术进行各种高度复杂的实验。在物理教育中使用这些移动迷你实验室与情境学习和基于上下文的学习教学理论以及多媒体学习的认知理论密切相关（库恩和沃格特，2022年）。当学习者使用熟悉的日常设备来探索物理现象时，他们会感到更加投入和自主——从而提高学习动机，并增强对自己学习过程的责任感。此外，这些设备具有强大的计算能力、高分辨率触摸屏显示器以及支持越来越多的移动应用程序的音频/视频界面。这些功能为学生提供了多种途径来处理实验数据，包括图表、示波图、频谱等，除了文本和表格（有关各种示例，请参见库恩和沃格特2022年的研究）。然而，在常规课堂中，利用这些强大的迷你实验室记录和分析日常现象的机会有时是有限的，因为日常现象可能相当复杂，而必要的分析方法通常不在学校课程中提供。

多模态大型语言模型

得益于大型语言模型领域的快速发展，这一限制正逐渐被克服，这些模型可以作为共同调查员，极大地扩展了学生探索的机会。自2024年中GPT-4o发布以来，许多这类基础模型能够处理和生成多模态内容（多模态大型语言模型，MLLM），显著扩展了其用例。因此，这样的生成式AI工具可以解释和生成图像、音频和视频，以及文本。它们从而为支持学习者处理复杂数据提供了新的可能性。这些模型可以作为智能导师，帮助学习者优化实验设计、分析和可视化实验结果、解释图表和表格、解释基本概念，甚至指导构建科学论点（Bewersdorff等人，2025年）。多模态语言模型（MMLLMs）与常规人工智能系统的区别在于它们能够跨模态工作。它们使学习者能够在基于文本、视觉和符号的知识表示之间流畅切换。这一能力与多媒体学习的认知理论相一致，该理论强调整合多种表现形式可以促进理解并降低认知负荷。

🛠 方法

支持移动迷你实验室的MLLM分析

因此，基于人工智能的智能手机实验增强功能也使得在中学一二年级常规课堂中分析复杂的日常现象成为可能（首批例子包括Klay等人，2025年；Vogt等人，2025a年；Vogt等人，2025b年）。有了这样的AI辅助口袋实验室，学习者可以独立地科学地解释现象，创建和评估科学调查的设计，并批判性地解读科学数据和证据。这些能力与PISA 2025科学框架相对应。

本文通过三个不同传感器的示例来说明这个概念，并展示了不同数据模态的分析。

示例1：确定阻力系数

使用集成在智能手机中的加速度计来确定车辆的阻力系数首次发表于2015年（Fahsl等人）。（参见Fahsl和Vogt，2018年的英文贡献）。这项实验的教育潜力在多个层面上展开：学生独立收集测量数据，使用熟悉且个人化的设备在现实世界情境中进行操作。这种方法与广泛倡导的呼吁相一致，即根据情境学习的精神，使物理内容更具情境化。

此外，学生亲身体验驾驶的不同阶段——带档位的加速和滑行——这使活动变得具体而个人化。他们关于运动的主观体验随后可以与测得数据的客观分析相关联，从而促进并结合具身认知的元素（Vogt等人，2016年）。通过基于时间的比较，加速度与速度之间的联系提供了许多讨论机会，并支持对运动学概念理解的扎实发展。

尤其重要的是，这些数据允许估计车辆的阻力系数和滚动阻力系数——这些量在学校环境中通常难以获取。然而，从加速度数据确定速度需要数值积分。由于这种计算方法通常不在基础微积分课程中涵盖，因此需要由物理教师教授。可以使用电子表格或各种其他计算工具来完成，但这需要大量时间，并为调查增加了额外的认知负担。

随着多模态大型语言模型（MLLMs）的出现，学生现在可以在不需要高级数学知识的情况下独立生成和评估图表。对于初步的AI辅助数据分析，建议通过与模型的对话逐步进行。这有助于学生理解分析过程，并同时深入了解AI的工作原理。在这些经验的基础上，可以构建更结构化的提示——易于适应不同情境——用于进一步的分析。我们选择了中间立场：从更全面的提示开始（见图1；接着是ChatGPT的系统回答在图2中），然后通过更专注和互动的对话来完善实验评估（见图3至图10）。

使用电子表格软件对同一数据集进行的常规数据分析与基于机器学习的语言模型（MLLM）分析得到的结果相吻合。

示例2：电离层高度的测量

除了示波图和频谱图（Vogt等人，2025a；Vogt等人，2025b），频谱图还能以图形方式表示和定量分析声学信号。一个不太明显的应用实例涉及闪电放电，它们在3到30千赫兹的非常低频（VLF）范围内发射电磁信号。要使用ChatGPT-4o分析这些信号，首先必须使用一个简单的接收装置作为声学换能器（Vogt &Müller，2014年）进行记录，并将数据保存为计算机上的WAV文件。关于闪电产生的大气现象——或简称“球状闪电”——的介绍要么嵌入在提示中，要么可以在引用的出版物中找到详细内容。

这个例子说明，多模态语言模型（MLLM）也能处理其他数据格式——本例中为WAV格式的音频文件。此外，它还展示了声学分析的惊人精度（参见Vogt等人，2025a；Vogt等人，2025b）。

示例3：实时血容量动态光谱学

在这个例子中，我们分析了一个视频，该视频记录了使用智能手机的CMOS图像传感器通过学生手指的光线传输情况。通过将手指放在前置摄像头上并测量透射率来收集数据。尽管每个CMOS像素只有256的动态范围，但一百多万像素的集成可以在测量透射的小变化时提供非凡的精度。逐帧测量透射强度，可以对心脏周期期间手指内的血容量进行时间分辨的光谱分析。650-850纳米之间的光疗窗口使得红像素的测量变得理想（Rakestraw，2025年）。

ChatGPT-4o的分析速度非常快，极大地提升了在课堂上进行此类分析的机会。每个心动周期吸收峰的上升和下降富含生理信息。利用AI的快速分析过程使学生能够设计有趣的生理实验并研究其反应。即便是一次实验，没有AI的帮助也难以完成，因为学生需要获取权限并学习如何使用视频分析软件，这会分散他们对有趣物理和生物学的注意力。

相较于传统分析方法的优势

以下概述总结了多语言大型语言模型（MLLM）在示例中执行的任务及其相较于传统数据分析方法的优势。

表1：MLLM支持的数据分析在示例中的优势

MLLM执行的任务的一个主要优势是学生只需具备基本的提示工程知识——无需学习额外的软件工具或复杂的计算方法。这为课堂中探讨底层物理概念留出了更多空间。

📊 结论

尤其重要的是，这三个例子表明，智能手机实验与机器学习语言模型的结合是一种捕捉和分析科学数据以及批判性质疑证据的有益方法。这种方法的一个关键优势在于培养表征能力——在不同形式的科学信息表征（如图表、图形、公式和书面解释）之间进行导航和转换的能力。研究表明，这种能力对科学领域的学习成功至关重要（例如，Treagust、Duit和Fischer，2017年），然而许多学生在这方面存在困难（Scheid等人，2017年）。机器学习语言模型在这里可以作为动态学习辅助工具，通过分解复杂的视觉表征或从原始数据生成有意义的表征来促进表征能力的提升（Klein、Müller和Kuhn，2017年）——并以个性化和差异化的方式进行。例如，它们可以将三维数据转换成具有视觉信息的图表（如频谱图）、突出相关特征，并根据学习者的先验知识以简单语言或更高技术水平解释其含义。在此背景下，再次强调机器学习语言模型分析传感器数据（无论是来自界面还是智能手机）、音频文件、图片和视频的能力。

智能手机与机器学习语言模型的整合很好地契合了培养21世纪技能的需求，如解决问题、创造力、协作和数字素养。鼓励学习者不仅参与物理现象和过程，还要与数据、模型和表示进行有意义的互动。通过对证据的批判性解读——例如，通过分析数据趋势、质疑异常或考虑实验误差——学习者培养出探究和调查的态度，这是科学教育的一个关键特征。

尽管有所有这些优势，从批判性的角度看待人工智能在教育中的整合至关重要。关于数据隐私、伦理使用和所谓的人工智能幻觉（即生成看似真实但错误的信息）的担忧必须通过明确的指导方针和措施来解决，以促进数字素养。这也适用于此处描述的AI增强口袋实验室方法。教育工作者应找到一个谨慎的平衡——百万分之一升（MLLMs）应支持学习，而不是取代它。应鼓励学生将AI工具作为思考伙伴使用，而不是作为答案机器。此外，目前关于生成式AI系统学习影响的发现仍然非常矛盾。例如，一些综述研究报告了使用此类系统的积极学习效果（参见邓等人，2025年）。然而，由于方法论上的弱点，这些研究的结果颇具争议。此外，其他贡献指出使用此类工具学习时会有负面影响（参见斯塔德勒、班尼特和塞勒，2024年；克鲁普等人，2024a，b；范等人）。智能手机实验单独研究呈现出一致性积极的结果（Hochberg、Kuhn和Müller，2018年；Hochberg等人，2020年；Becker等人，2020a、b年；Laumann等人，2024年）。

总之，智能手机作为实验工具和生成式人工智能作为智能多模态辅助系统的结合，为物理教育中的个性化学习开辟了一种有前途的方法。然而，除了概念上明显的机会外，仍需提供科学证据来证实这种方法在物理教育中产生的积极学习效果。然而，在不断被人工智能塑造的教育环境中，这种混合模型可以在准备学生不仅为了学习，而且为了实际应用——培养好奇心、批判性和创造力方面发挥关键作用。