Rethinking Scaling Laws for Learning in Strategic Environments

越来越大的机器学习模型的部署反映了一个共识，即模型越具表现力，可以访问的数据就越多，就越能提高性能。随着模型在各种实际场景中的部署，它们不可避免地面临着战略环境。在这项工作中，我们考虑了一个自然问题，即模型和战略交互的相互作用如何影响缩放定律。我们发现，战略交互可以打破缩放定律的传统观点，这意味着性能不一定会随着模型变得更大和/或更具表现力（即使有无限的数据）而单调地提高。我们通过战略回归、战略分类和多智能体强化学习的例子展示了这种现象的影响，这些例子展示了战略环境中的情况，即通过简单地限制自己的模型或策略类别的表现力，就可以实现严格更好的均衡结果。在这些例子的启发下，我们提出了一种新的游戏模型选择范式，其中一个代理人试图在不同的模型类别中选择要用作其游戏动作集的模型。

探究模型和策略在博弈中的相互作用对性能提升的影响，以及如何在不同模型类之间进行选择以实现更好的平衡结果。

通过在多种情境下展示策略环境，论文发现模型的表达能力并不是越强越好，有时候限制模型的表达能力反而可以实现更好的平衡结果。因此，提出了一种新的游戏模型选择范式，即代理人在游戏中选择不同的模型类作为他们的行动集。

论文使用多个实例来展示策略环境，包括策略回归、策略分类和多智能体强化学习。此外，还提出了一种新的游戏模型选择范式，为代理人在博弈中选择最佳模型类提供了一种新思路。

最近的相关研究包括“机器学习模型的可解释性”和“多智能体强化学习中的平衡和合作”等。