Learning and Leveraging World Models in Visual Representation Learning

Joint-Embedding Predictive Architecture (JEPA)已经成为一种有前途的自监督方法，通过利用世界模型进行学习。虽然以前只能预测输入中缺失的部分，但我们探讨了如何将JEPA预测任务推广到更广泛的数据损坏集合。我们引入了图像世界模型(Image World Models)，这种方法超越了遮蔽图像建模，学习在潜在空间中预测全局光度变换的影响。我们研究了学习高性能IWMs的配方，并表明它依赖于三个关键方面：条件、预测难度和容量。此外，我们展示了通过微调适应IWM学习的预测世界模型可以解决各种任务；经过微调的IWM世界模型与以前的自监督方法相比，其性能相当或更好。最后，我们展示了使用IWM学习可以控制所学表示的抽象级别，学习不变表示，如对比方法，或等变表示，如遮蔽图像建模。

本文旨在将JEPA预测任务推广到更广泛的数据破坏方式，通过学习Image World Models（IWMs）来解决这一问题。同时，论文还试图探索IWM的性能、可迁移性和表示学习方面的优势。

本文提出了一种新的自监督学习方法，通过在潜在空间中预测全局光度变换的效果来学习IWM。研究表明，IWM的学习依赖于三个关键因素：条件、预测难度和容量。另外，本文还表明，通过微调，可以将IWM的预测世界模型适应于不同的任务，并且IWM可以控制所学习表示的抽象程度。

论文通过实验验证了IWM的性能和可迁移性，并且展示了IWM的表示学习优势。同时，论文还探讨了如何控制IWM所学习表示的抽象程度。实验使用了多个数据集，并且开源了代码。

在最近的相关研究中，一些自监督学习方法也尝试解决图像表示学习的问题，例如Contrastive Predictive Coding、SimCLR和BYOL。