StarCraftImage: A Dataset For Prototyping Spatial Reasoning Methods For Multi-Agent Environments

在多智能体环境中，如事件预测、智能体类型识别或缺失数据插补等空间推理任务对于多个应用（例如，传感器网络上的自主监视和强化学习的子任务）非常重要。StarCraft II游戏重放记录了智能（和对抗性）的多智能体行为，并且可以为这些任务提供一个测试平台；然而，提取简单和标准化的表示以用于这些任务的原型设计是费力的，也会影响可重复性。相比之下，MNIST和CIFAR10尽管非常简单，但已经实现了ML方法的快速原型设计和可重复性。为了遵循这些数据集的简单性，我们基于展示了复杂多智能体行为的StarCraft II重放构建了基准空间推理数据集，同时仍然像MNIST和CIFAR10一样易于使用。具体来说，我们仔细总结了255个连续游戏状态的窗口，从60,000个重放中创建了3.6百万个摘要图像，包括所有相关的元数据，如游戏结果和玩家种族。我们开发了三种不同复杂度的格式：包括每个单位类型的一个通道的高光谱图像（类似于多光谱地理空间图像）、模仿CIFAR10的RGB图像和模仿MNIST的灰度图像。我们展示了如何使用这个数据集来原型设计空间推理方法。所有数据集、提取代码和数据集加载代码都可以在https://starcraftdata.davidinouye.com找到。

构建一个基于StarCraft II的空间推理基准数据集，以便用于测试事件预测、代理类型识别或缺失数据插补等多智能体环境下的空间推理任务。

通过精心总结255个连续游戏状态的窗口，创建了360万个摘要图像，包括所有相关的元数据，如游戏结果和玩家种族。提供了三种不同复杂度的数据集格式，分别是：多光谱图像、RGB图像和灰度图像，以便于构建和测试空间推理方法。

该数据集基于StarCraft II游戏重播，包含复杂的多智能体行为，但与MNIST和CIFAR10一样易于使用。提供了开源代码和数据集，方便其他研究者使用。该数据集可以用于构建和测试空间推理方法，并且可以作为强化学习子任务的测试平台。

最近的相关工作主要集中在使用游戏重播数据进行强化学习的研究，如使用Dota 2和StarCraft II的重播数据进行强化学习。