Neural Scaling Laws for Embodied AI

本文探讨了在机器学习领域，如语言建模和计算机视觉，规模定律的应用取得了显著进展。然而，在实体智能和机器人领域，尽管机器学习的使用迅速增加，但对规模定律的探索仍然有限。本文提出了第一项研究，量化了机器人基础模型（RFMs）和LLMs在机器人任务中的规模定律。通过对198篇研究论文进行的元分析，我们分析了计算、模型大小和训练数据量等关键因素如何影响各种机器人任务中模型的性能。我们的研究结果证实，规模定律适用于机器人中的RFMs和LLMs，随着资源的增加，性能不断提高。RFMs的幂律系数与机器人中的LLMs非常相似，类似于计算机视觉中的系数，并且优于语言领域中LLMs的系数。我们还注意到，这些系数随任务复杂性的变化而变化，熟悉的任务比陌生的任务更有效地扩展，强调了需要大型和多样化的数据集。此外，我们强调实体智能中缺乏标准化基准。大多数研究表明收益递减，这意味着需要大量资源才能实现高性能，由于数据和计算限制，这也带来了挑战。最后，随着模型的扩展，我们观察到新能力的出现，特别是与数据和模型大小相关的能力。

研究机器人基础模型和LLMs在机器人任务中的可扩展性规律，揭示它们如何受到计算资源、模型规模和训练数据量等因素的影响

通过对198篇研究论文的元分析，证实机器人基础模型和LLMs在机器人领域中也存在可扩展性规律，并且随着资源的增加，模型性能持续提高。同时发现，任务复杂度会影响规律的系数，熟悉的任务比陌生的任务更容易扩展。

实验结果显示，随着模型规模的扩大和数据集的增加，模型性能持续提高。此外，随着模型规模的扩大，还出现了新的能力。但由于数据和计算资源的限制，研究表明了收益递减的趋势。同时，研究还强调了在实体AI领域中缺乏标准化基准的问题。

最近的相关研究包括：Scaling Laws for Neural Language Models, Scaling Laws for Graph Neural Networks, The Emergence of Spectral Universality in Deep Networks, 等等。