Pixels and Predictions: Potential of GPT-4V in Meteorological Imagery Analysis and Forecast Communication

生成式人工智能（Generative AI）如OpenAI的GPT-4V大型语言模型已经迅速进入主流话语中。图像处理和自然语言交互方面的新能力可以增强现有的预测方法。大型语言模型还显示出潜力，可以更好地以针对不同社区和语言的风格传达天气危险信息。本研究评估了GPT-4V解释气象图表和向用户适当传达天气危险的能力，尽管存在幻觉的挑战，即生成式人工智能提供连贯、自信但不正确的回答。我们通过其网络界面ChatGPT在两个任务中评估了GPT-4V的能力：（1）通过天气图表分析生成严重天气前景并进行自我评估，显示出与风暴预测中心人工发布的预测相对应的前景；（2）从天气图表中生成西班牙语和英语的危险摘要。然而，西班牙语的回答类似于从英语直接翻译成西班牙语，导致翻译不良的摘要失去了必要的成语精度，无法实现最佳通信。我们的研究结果提倡在气象学中谨慎使用类似GPT-4V的工具，强调了人类监督和开发可信的、可解释的人工智能的必要性。

本论文旨在评估GPT-4V的能力，即解释气象图表并适当地向用户传达天气危险，同时解决幻觉问题。

通过GPT-4V的Web界面ChatGPT，在两个任务中评估其能力：(1)从天气图表分析生成严重天气展望并进行自我评估；(2)从天气图表中生成西班牙语和英语的危险总结。结果表明，GPT-4V在生成天气展望方面表现出色，但在西班牙语翻译方面表现不佳，需要谨慎集成。

论文提出了GPT-4V在气象领域的应用，并评估了其性能。实验结果表明，GPT-4V可以生成与人类发布的预测相对应的天气展望，但在翻译方面表现不佳。研究结果强调了人类监督和开发可信的、可解释的AI的必要性。

最近的相关研究包括OpenAI的GPT-4V模型，以及其他使用AI技术进行天气预报和自然语言处理的研究。