POEM: Interactive Prompt Optimization for Enhancing Multimodal Reasoning of Large Language Models

大型语言模型（LLMs）在零或少量提示的情况下，展示了对多模态内容理解和推理的卓越能力。尽管已经开发了许多交互式系统来支持LLMs的提示工程，但大多数系统主要关注文本或视觉输入，从而忽视了多模态输入中模态之间的复杂相互作用。这种疏忽阻碍了有效提示的发展，这些提示通过充分利用多种模态提供的丰富上下文，引导模型进行多模态推理过程。本文介绍了POEM，这是一个视觉分析系统，旨在促进有效提示工程，以增强LLMs的多模态推理性能。该系统使用户能够以不同的详细程度探索模态之间的交互模式，以全面了解各种提示引发的多模态知识。通过各种演示示例和指导原则的推荐，POEM支持用户迭代地制定和完善提示，以更好地对齐和增强模型知识与人类洞察力。通过两个案例研究和专家访谈，验证了我们系统的有效性和效率。

本论文旨在解决当前交互式系统在多模态输入中忽略模态之间复杂相互作用的问题，提出了一种名为POEM的视觉分析系统，以促进大型语言模型的多模态推理性能的有效提示工程。

POEM系统允许用户在不同层次上探索模态之间的交互模式，通过多样化的演示示例和指导原则支持用户迭代地制定和完善提示，从而更好地与人类洞察力相一致地增强模型知识。

论文通过两个案例研究和专家访谈验证了POEM系统的有效性和效率，实验使用了多个数据集，但未提供开源代码。值得关注的是，POEM系统在多模态输入中提供了全面的理解和分析，为大型语言模型的多模态推理提供了更好的支持。

在相关研究方面，最近的工作主要集中在大型语言模型的多模态推理方面，如CLIP、DALL-E等，也有一些研究探索了多模态输入中的交互作用，如MMFT和ViLBERT。