Shadows Don't Lie and Lines Can't Bend! Generative Models don't know Projective Geometry...for now

Ayush Sarkar ,
Hanlin Mai ,
Amitabh Mahapatra ,
Svetlana Lazebnik ,
D. A. Forsyth ,
Anand Bhattad
2023年11月28日
  • 简介
    生成模型可以生成非常逼真的图像。本文展示了生成的图像具有不同于真实图像的几何特征。我们构建了一组生成图像的集合,这些图像已经预先筛选,可以欺骗简单的基于信号的分类器,使其认为它们是真实的。然后,我们展示了只查看几何属性的分类器可以可靠地识别预先筛选的生成图像。我们使用了三种这样的分类器。所有三个分类器都无法访问图像像素,只查看导出的几何特征。第一个分类器查看图像的透视场,第二个分类器查看图像中检测到的线条,第三个分类器查看检测到的对象和阴影之间的关系。我们的程序比SOTA本地信号检测器更可靠地检测到来自多个不同生成器的图像。显著性地图表明,分类器可以可靠地识别几何问题。我们得出结论,当前的生成器不能可靠地再现真实图像的几何特征。
  • 图表
  • 解决问题
    论文旨在探讨生成模型产生的图像与真实图像的几何特征差异,以及如何使用几何属性分类器来可靠地识别生成图像。
  • 关键思路
    论文使用三个几何属性分类器,分别检查图像的透视场、图像中检测到的线条以及检测到的物体和阴影之间的关系,来识别生成图像。这种方法比当前最先进的基于信号的检测器更可靠地检测出生成图像。
  • 其它亮点
    论文构建了一组生成图像的集合,并对其进行预处理以欺骗简单的基于信号的分类器,使其认为它们是真实图像。实验结果表明,使用几何属性分类器可以可靠地识别生成图像,并且比当前最先进的基于信号的检测器更准确。论文还提出了一些值得深入研究的方向,例如如何改进生成模型以更好地模拟真实图像的几何属性。
  • 相关研究
    最近的相关研究包括GAN生成图像的研究,以及基于深度学习的图像分类和检测方法的研究。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论