Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach

我们研究了一种新型的语言模型架构，该架构能够在推理时通过在潜在空间中隐式推理来扩展计算。我们的模型通过迭代一个循环块工作，从而在推理时展开至任意深度。这与主流的推理模型形成对比，主流模型通过生成更多标记来扩展计算能力。与基于链式思维的方法不同，我们的方法不需要任何专门的训练数据，可以在小的上下文窗口中工作，并且可以捕捉到不易用语言表达的推理类型。我们将一个概念验证模型扩展到了35亿个参数和8000亿个标记。我们展示了由此产生的模型可以在推理基准测试中提升性能，有时甚至有显著提升，其计算负载相当于高达500亿个参数。

该论文试图解决现有语言模型在推理任务中计算资源消耗大且依赖于生成更多文本符号的问题。这是一个新的尝试，旨在通过隐式推理减少对大规模参数和长上下文窗口的依赖。

关键思路在于开发一种能够在测试时通过迭代循环块来扩展计算深度的语言模型架构，从而在潜在空间中进行隐式推理。这种方法不需要专门的训练数据，并且可以在较小的上下文窗口中工作，适用于难以用文字表达的推理类型。相比传统方法，此模型不依赖于产生更多标记或使用大型上下文窗口。

实验设计展示了模型随着计算负载增加（最高相当于50亿参数）性能显著提升。该模型已扩展至35亿参数，并处理了8000亿个标记。此外，研究证明了该模型在推理基准测试上的改进效果。虽然没有特别提到开源代码，但这项工作为未来的研究提供了新方向，特别是在小样本学习和复杂推理方面。

最近的相关研究包括《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》探讨了链式思维提示如何激发大型语言模型中的推理能力；《Scaling Laws for Autoregressive and Memory Transformers》分析了自回归和记忆变压器的扩展规律；以及《Latent Diffusion Models》讨论了潜在扩散模型在图像生成等领域的作用。这些研究共同推动了AI领域对于更高效、更具泛化能力模型的需求。