SPARTAN: A Sparse Transformer Learning Local Causation

因果结构在灵活适应环境变化的世界模型中起着核心作用。尽管近期的研究强调了发现局部因果图对于动态建模的好处，但在本研究中我们展示了在复杂环境中准确捕捉这些关系对当前最先进方法仍然具有挑战性。为了解决这一不足，我们认为稀疏性是发现此类局部因果结构的关键因素。为此，我们提出了SPARse TrANsformer World model（SPARTAN），这是一种基于Transformer的世界模型，能够学习场景中实体之间的局部因果结构。通过在对象分解令牌之间的注意力模式上应用稀疏正则化，SPARTAN 能够识别出能够准确预测未来对象状态的稀疏局部因果模型。此外，我们将模型扩展到捕获对环境动态的稀疏干预，即使目标未知。这导致了一个高度可解释的世界模型，可以高效地适应变化。实证方面，我们在基于观察的环境中评估了 SPARTAN 与当前最先进的对象中心世界模型的表现，并证明我们的模型可以学习准确的局部因果图，并在动态变化的环境中实现显著改进的少量样本适应能力以及对无关干扰物的鲁棒性。

该论文试图解决在复杂环境中准确捕捉局部因果结构的挑战，特别是在当前最先进的方法中仍存在的问题。这是一个持续关注的问题，但论文提出了一种新的方法来改进现有的解决方案。

论文的关键思路是通过引入稀疏性作为发现局部因果结构的重要成分。具体来说，提出了SPARse TrANsformer World model (SPARTAN)，这是一种基于Transformer的世界模型，通过在对象因子化令牌之间的注意力模式上应用稀疏正则化，识别出稀疏的局部因果模型，从而准确预测未来对象状态。这一思路在现有研究基础上增加了稀疏性的考虑，以提高模型的适应性和准确性。

论文的其他亮点包括：1) 模型能够高效地适应环境动态变化，并且在去除无关干扰物时表现出较强的鲁棒性；2) 实验设计中，SPARTAN在观察驱动的环境中与当前最先进的对象中心世界模型进行了对比，展示了其在学习准确局部因果图和少样本适应方面的显著优势；3) 论文提供了详细的实验设置和结果分析，使用了多个数据集，并且开源了代码，为后续研究提供了基础。

最近在这个领域中的相关研究包括：1)《Learning Causal State Representations of Partially Observable Environments》；2)《Object-Centric Learning with Slot Attention》；3)《Causal Discovery in Physical Systems from Videos》。这些研究都致力于从不同的角度探索环境中的因果关系，但SPARTAN通过引入稀疏性来优化局部因果结构的发现，提供了一种新的视角。