OneDiff: A Generalist Model for Image Difference Captioning

本文介绍了一种新的通用方法OneDiff模型，它利用了强大的视觉-语言模型架构，将孪生图像编码器与视觉差分模块相结合，精确地检测和描述图像对之间的微小差异。OneDiff通过耦合样本训练和跨多个数据类型的多任务学习的双阶段策略进行训练，支持我们新开发的DiffCap数据集。该数据集合并了真实世界和合成数据，增强了训练过程并增强了模型的鲁棒性。在Spot-the-Diff、CLEVR-Change和Birds-to-Words等多样化的IDC基准测试中进行了广泛的测试，结果表明OneDiff在准确性和适应性方面始终优于现有的最先进模型，平均提高了85\%的CIDEr分数。OneDiff在IDC中树立了新的基准，为更多多样化和有效的应用程序检测和描述视觉差异铺平了道路。代码、模型和数据将公开发布。

论文旨在解决图像差异描述的问题，传统方法受限于特定模型，不适用于多种情境。作者提出了一种新的通用方法OneDiff，旨在通过使用视觉-语言模型架构，将孪生图像编码器与视觉差分模块集成在一起，以精确检测和描述图像对之间的细微差异。

OneDiff模型的关键思路是使用孪生图像编码器和视觉差分模块，通过耦合样本训练和多任务学习的双重阶段策略，跨多种数据类型进行训练，从而提高模型的鲁棒性和适应性。

论文使用了自己的DiffCap数据集，该数据集融合了真实世界和合成数据，增强了模型的训练过程和鲁棒性。OneDiff在Spot-the-Diff、CLEVR-Change和Birds-to-Words等各种IDC基准测试中进行了广泛测试，表现出比现有最先进模型更高的准确性和适应性。作者将代码、模型和数据公开。

在这个领域中，最近的相关研究包括：1）DenseCap，2）Show and Tell，3）Visual Question Answering。