Visual Jenga: Discovering Object Dependencies via Counterfactual Inpainting

本文提出了一种新的场景理解任务，称为视觉积木（Visual Jenga）。 该任务受传统积木游戏的启发，涉及从单张图像中逐步移除物体，直到仅剩背景为止。 正如积木玩家需要理解结构依赖关系以保持塔的稳定性，我们的任务通过系统性地探索哪些物体可以在保持场景物理和几何连贯性的同时被移除，揭示了场景元素之间的内在关系。 作为解决视觉积木任务的一个起点，我们提出了一种简单、数据驱动且无需训练的方法，该方法在一系列真实世界图像上表现出了惊人的有效性。 我们方法的核心思想是利用场景中物体之间成对关系的不对称性，并使用一个大型图像修复模型生成一组反事实示例，以量化这种不对称性。

本文提出了一种新的场景理解任务，称为Visual Jenga，旨在通过逐步从图像中移除对象直到仅剩背景，来揭示场景元素之间的内在关系。这是一个全新的问题，强调在物理和几何意义上保持场景连贯性。

论文的关键思路是利用场景中对象之间的不对称关系，并结合大规模的图像修复模型生成反事实示例以量化这种不对称性。这种方法无需训练，基于数据驱动，且适用于多种真实世界图像，展现出较强的泛化能力。

1. 提出了一个新颖的任务——Visual Jenga，能够帮助研究者更深入地理解场景中的结构依赖关系；2. 方法简单有效，无需训练即可实现；3. 使用了多样化的现实世界图像进行实验验证；4. 尽管未提及具体数据集或开源代码，但该方法为未来的研究提供了丰富的探索方向，例如如何改进对象移除策略以及如何评估场景连贯性。

与本文相关的研究包括：1. 场景解析和语义分割领域的工作，如《Scene Parsing through ADE20K Dataset》；2. 图像编辑和修复技术，例如《High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis》；3. 对象交互建模，例如《Learning to Decompose and Disentangle Representations for Video》；4. 物理场景理解和稳定性预测，如《Physically-Informed Neural Networks for Modeling Scene Stability》。