Scaling Laws for Pre-training Agents and World Models

通过增加模型参数、数据集规模和计算资源，已证明具身代理的表现得到了提升。这一点在从机器人学到视频游戏等多个领域都得到了验证，当使用离线数据集上的生成学习目标（预训练）来模拟代理的行为（模仿学习）或其环境（世界建模）时尤为明显。本文更精确地描述了规模在这些任务中的作用。超越“越大越好”的简单直觉，我们展示了语言建模中发现的幂律关系（例如损失与最优模型规模之间的关系）同样出现在世界建模和模仿学习中。然而，这些定律的系数受到分词器、任务和架构的严重影响——这对比模型和数据的最佳规模具有重要意义。

该论文试图探讨和验证在世界建模和模仿学习任务中，模型参数量、数据集大小和计算资源的增加对性能提升的具体影响。这是一个在深度学习和强化学习领域中逐渐受到关注的问题，但此前对于这些任务中的规模效应并没有进行系统的研究。

论文的关键思路是通过实证研究，展示在世界建模和模仿学习任务中，性能提升与模型规模、数据量和计算资源之间的关系遵循类似的语言模型中的幂律关系。这一发现不仅证实了‘更大更好’的直观认识，还揭示了不同任务、架构和分词器对这些幂律系数的影响，为未来模型的设计和优化提供了理论依据。

论文通过大量实验展示了不同任务和架构下的幂律关系，并分析了分词器对这些关系的影响。实验使用了多种数据集，包括但不限于机器人学和视频游戏的数据集。此外，论文还讨论了如何根据任务特性选择最优的模型规模和数据量，这对于资源有限的实际应用具有重要指导意义。论文未提及是否开源代码，但其方法论和结论为后续研究提供了丰富的方向。

近期在这个领域中，相关的研究还包括《Scaling Laws for Transfer Learning》、《On the Emergence of Scaling Laws in Deep Reinforcement Learning》和《Understanding the Role of Data in Deep Learning: A Theoretical Perspective》等。这些研究从不同角度探讨了规模效应对深度学习和强化学习任务的影响。