基于Unreal Engine，Meta AI发布生成逼真图像的数据集PUG

PUG: Photorealistic and Semantically Controllable Synthetic Data for Representation Learning

Meta AI发布了一系列利用Unreal Engine生成逼真图像的数据集，已发布的数据集包括用于基础模型研究的PUG：Animals、用于评估图像分类器鲁棒性的PUG：ImageNet以及用于视觉语言模型评估的PUG：SPAR。

官网：https://pug.metademolab.com/ 

Github地址：https://github.com/facebookresearch/PUG 

论文：https://arxiv.org/abs/2308.03977 

PUG：用于表示学习的逼真和语义可控的合成数据

Florian Bordes, Shashank Shekhar, Mark Ibrahim, Diane Bouchacourt, Pascal Vincent, Ari S. Morcos

合成图像数据集为设计和评估深度神经网络提供了无与伦比的优势：它们可以（i）根据需要渲染尽可能多的数据样本，（ii）精确控制每个场景并产生粒度地面真实标签（和标题），（iii）精确控制训练和测试之间的分布偏移，以隔离对声音实验感兴趣的变量。尽管有这样的承诺，但合成图像数据的使用仍然有限，而且经常被淡化，主要是因为它们缺乏现实主义。

因此，大多数作品依赖于真实图像的数据集，这些数据通常从互联网上的公共图像中抓取，在隐私、偏见和版权方面可能存在问题，同时对对象的精确显示方式几乎没有控制。

在这项工作中，我们提出了一条使真实感合成数据使用民主化的道路：我们为表示学习研究开发了新一代的互动环境，既提供了可控性，又提供了现实主义。我们使用虚幻引擎，一个在娱乐行业众所周知的强大游戏引擎，来生成用于表示学习的PUG（超现实虚幻图形）环境和数据集。在本文中，我们展示了PUG在对视觉模型进行更严格评估方面的潜力。

此代码库包含：

• PUG数据集的下载链接
• 数据加载器
• 使用虚幻引擎从运行的交互环境中采样图像所需的脚本。
• 使用PUG评估VLM模型的脚本：SPAR
• 用于创建PUG数据集的资产列表（列在每个PUG文件夹中）

内容中包含的图片若涉及版权问题，请及时与我们联系删除