过去十年见证了基础模型在规模化方面的显著成就，其中训练算力的提升不断解锁了新的能力。然而，随着规模化趋势的推进，一些关键挑战可能会制约进一步的扩展：高质量网络数据的匮乏可能成为数据规模化的瓶颈，模型在更大规模下的行为可能变得愈发不可预测，且能力更强的模型也可能带来更大的风险。本论文旨在开发可扩展的方法来应对这些挑战。尽管各章节分别探讨了这些挑战的不同方面且可独立阅读，但它们共同服务于一个核心目标：突破规模化的瓶颈。首先，我们介绍了一种名为“通过推理进行学习”（reasoning to learn）的数据高效预训练范式；该范式利用模型的推理能力来综合其思维过程，从而更高效地从现有数据中学习。其次，我们关注模型能力跨规模（across scales）的可预测性，并提出了“观测式缩放定律”（observational scaling laws），使得针对复杂下游能力进行低成本且稳健的缩放分析成为可能。最后，我们阐述了评估并缓解模型在下游应用中风险的方法，包括如何稳健地适应不同的下游数据分布，以及如何以可扩展的方式评估模型作为“工具使用智能体”（tool-use agents）在罕见但高风险场景下的表现。
论文题目：Breaking the Bottlenecks of Scaling: Data Efficiency, Predictability, and Risks
作者：Yangjun Ruan
类型：2026年博士论文
学校：University of Toronto（加拿大多伦多大学）
请索引第151篇博士论文
 |  |
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢