BEHAVIOR Vision Suite: Customizable Dataset Generation via Simulation

系统地评估和理解计算机视觉模型在不同条件下的表现需要大量具有全面和定制化标签的数据，而现实世界的视觉数据集很少能满足这一要求。虽然当前的合成数据生成器为具有实体化人工智能任务的数据提供了一种有前途的替代方案，但由于资产和渲染质量低、多样性有限和物理属性不真实，它们在计算机视觉任务中往往表现不佳。我们介绍了BEHAVIOR Vision Suite（BVS），这是一组工具和资产，可基于新开发的实体化人工智能基准BEHAVIOR-1K，生成完全定制的合成数据，用于系统评估计算机视觉模型。BVS支持在场景级别（例如，照明，物体放置），对象级别（例如，关节配置，属性，如“填充”和“折叠”）和相机级别（例如，视场，焦距）上调整大量可调参数。研究人员可以在数据生成过程中任意变化这些参数以进行受控实验。我们展示了三个应用场景示例：系统地评估模型在不同连续域移位轴上的鲁棒性，对同一组图像评估场景理解模型，以及训练和评估新的视觉任务的模拟到真实转移：一元和二元状态预测。项目网站：https://behavior-vision-suite.github.io/

BEHAVIOR Vision Suite (BVS)旨在解决计算机视觉模型评估所需的大量数据不足的问题，提供了一种生成完全定制的合成数据的工具和资产，以进行计算机视觉模型的系统评估。

BVS支持在场景级别、对象级别和相机级别进行大量可调参数的调整，以进行可控实验。

该论文提出了BEHAVIOR Vision Suite（BVS）工具和资产，以生成完全定制的合成数据，用于计算机视觉模型的系统评估，展示了三个应用场景：系统地评估模型在不同领域转移的连续轴上的鲁棒性，评估场景理解模型在相同图像集上的表现，以及针对一种新的视觉任务进行模拟到真实的转移。

最近的相关研究包括：AI Habitat、Gibson Env等。