GPT-ImgEval: A Comprehensive Benchmark for Diagnosing GPT4o in Image Generation

OpenAI 的 GPT4o 模型近期在图像生成与编辑方面取得了令人惊讶的突破，引发了社区的广泛关注与兴奋。本技术报告提出了首个评估基准（命名为 GPT-ImgEval），从三个关键维度对 GPT-4o 的性能进行了定量和定性的诊断：(1) 生成质量，(2) 编辑能力，以及 (3) 基于世界知识的语义合成能力。在所有三项任务中，GPT-4o 表现出了强大的性能，在图像生成的可控性和输出质量上显著超越了现有方法，同时展现了卓越的知识推理能力。此外，基于 GPT-4o 生成的数据，我们提出了一种基于分类模型的方法来探究其底层架构。我们的实证结果表明，该模型由一个自回归（AR）模块结合一个基于扩散模型的解码头组成，而非类似变分自编码器（VAR-like）的架构。我们还对 GPT-4o 的整体架构进行了完整的推测。另外，我们进行了一系列分析，识别并可视化了 GPT-4o 在图像生成中的特定局限性及常见的合成伪影。我们还对比研究了 GPT-4o 和 Gemini 2.0 Flash 在多轮图像编辑中的表现，并讨论了 GPT-4o 输出的安全性问题，特别是其生成内容是否能被现有的图像取证模型检测到。我们希望这项工作能够为未来的研究提供有价值的见解，并提供一个可靠的基准，以促进可重复性和加速图像生成及相关领域的创新。用于评估 GPT-4o 的代码和数据集可以在 https://github.com/PicoTrex/GPT-ImgEval 找到。

该论文试图评估OpenAI的GPT-4o模型在图像生成和编辑任务中的性能，并通过构建GPT-ImgEval基准来量化其在生成质量、编辑能力和语义合成方面的表现。此外，研究还探讨了GPT-4o的架构特性及其生成图像的安全性和可检测性。这是一个新的问题，因为它是首次对GPT-4o的图像生成能力进行全面分析。

论文的关键思路是通过设计一个综合评价基准（GPT-ImgEval），从多个维度定量和定性地分析GPT-4o的表现，并推测其潜在架构可能结合了自回归（AR）和扩散模型。相比现有研究，这篇论文不仅关注生成质量，还深入探讨了模型的知识推理能力和多轮编辑性能，同时提出了一种基于分类模型的方法来逆向推导GPT-4o的内部结构。

论文设计了一系列实验来测试GPT-4o的生成控制能力、输出质量和知识推理能力，并与Gemini 2.0 Flash进行了比较。实验使用了定制的数据集，并提供了开源代码（https://github.com/PicoTrex/GPT-ImgEval）。此外，研究还讨论了GPT-4o生成图像的安全性问题，包括其是否能被现有的图像取证模型检测到。未来值得深入研究的方向包括改进生成模型的可控性和减少合成伪影。

近期相关研究包括：1) Google的Gemini系列模型，尤其是Gemini 2.0 Flash，也在多模态生成方面取得了显著进展；2) Meta的Make-A-Video和DreamFusion等研究探索了文本到视频和3D内容的生成；3) Stability AI的Stable Diffusion系列模型在图像生成领域也处于领先地位；4) 其他相关工作如CLIP指导的扩散模型（CLIP-Guided Diffusion）和Latent Diffusion Models (LDMs) 等。