Bi-LORA: A Vision-Language Approach for Synthetic Image Detection

深度图像合成技术的进步，例如生成对抗网络（GANs）和扩散模型（DMs），引领了一个生成高度逼真图像的时代。虽然这种技术进步引起了广泛的兴趣，但也引发了人们对于区分真实图像和合成图像的潜在难度的担忧。本文受到视觉和语言之间强大的收敛能力以及视觉语言模型（VLMs）的零样本特性的启发，引入了一种创新的方法，称为Bi-LORA，利用VLMs，结合低秩适应（LORA）调整技术，提高了对未见过的模型生成图像的合成图像检测的精度。我们方法的关键概念转变围绕着将二进制分类重新框架为图像字幕任务，利用前沿VLM的独特能力，尤其是引导语言图像预训练（BLIP2）。进行了严格和全面的实验来验证我们提出的方法的有效性，特别是在检测训练过程中未知扩散生成模型生成的未见过的扩散生成图像方面，展示了对噪声的鲁棒性，并展示了对GAN的泛化能力。所得结果展示了对未见生成模型的合成图像检测的平均准确率高达93.41％。与此研究相关的代码和模型可在https://github.com/Mamadou-Keita/VLM-DETECT上公开访问。

本文旨在提高对合成图像的检测精度，尤其是对于未知的生成模型生成的图像的检测精度。同时，试图解决合成图像与真实图像的区分问题。

本文提出了一种名为Bi-LORA的方法，将二元分类重新构建为图像字幕生成任务，并利用先进的视觉语言模型（VLM）和低秩自适应（LORA）调整技术来提高检测精度。该方法具有较强的泛化能力和鲁棒性。

本文的实验结果表明，Bi-LORA方法在检测未知生成模型生成的图像方面具有很高的准确性。同时，作者还公开了代码和模型，方便其他研究者进行进一步研究。

在相关研究方面，最近的一些研究包括：《Generative Adversarial Networks》、《Diffusion Models Beat GANs on Image Synthesis》等。