Rethinking the Role of Prompting Strategies in LLM Test-Time Scaling: A Perspective of Probability Theory

近期，对大型语言模型（LLM）在推理时扩展计算资源的研究引起了广泛关注。然而，对于不同的推理提示策略在扩展过程中的表现，研究仍然有限。本文专注于一个标准且现实的扩展场景：多数投票法。我们系统性地在6个大型语言模型、8种提示策略和6个基准测试上进行了实验。实验结果一致表明，随着采样时间和计算开销的增加，初始性能优越的复杂提示策略逐渐落后于简单的“链式思维”（Chain-of-Thought）。我们分析了这一现象，并提供了理论证明。此外，我们基于概率论提出了一种方法，能够在实际应用中无需额外耗费资源的情况下，快速而准确地预测扩展性能，并在大采样次数下选择最佳策略。该方法可以作为多数投票法的推理时扩展规律。进一步地，我们从理论分析中提出了两种方法，能够显著提升扩展性能。我们希望我们的研究能够推动重新审视复杂提示策略的作用，释放简单提示策略的潜力，并为提高推理时扩展性能提供新的见解。

该论文试图研究在大规模采样和计算资源投入的情况下，不同推理提示策略（prompting strategies）的表现变化。具体来说，它探讨了复杂提示策略是否能在增加计算开销时持续优于简单提示策略，并尝试揭示这一现象背后的规律。

论文的关键思路是通过系统性实验验证复杂提示策略与简单提示策略在多数投票（majority voting）设置下的性能差异，并提出基于概率理论的方法来预测最佳策略的缩放性能。此外，作者还从理论上分析了这一现象，并提出了两种改进缩放性能的方法。相比现有研究，这篇论文的独特之处在于对提示策略在大规模采样条件下的表现进行了深入分析，并提供了可操作的优化方法。

1. 系统地测试了6个大语言模型、8种提示策略和6个基准数据集，确保结果具有广泛代表性；2. 提出了基于概率理论的预测方法，可以快速选择最优策略而无需额外的高资源消耗；3. 提供了两种理论驱动的改进方法以显著提升缩放性能；4. 没有提及代码开源情况，但实验设计严谨，为未来研究提供了清晰的方向；5. 强调重新审视复杂提示策略的价值，释放简单提示策略的潜力。

最近的相关研究包括：1. 'Chain of Thought Prompting Elicits Reasoning in Large Language Models'，探讨了链式思维提示的有效性；2. 'Scaling Laws for Autoregressive Generative Modeling'，研究了自回归生成模型的缩放规律；3. 'Reasoning with Large Language Models via Self-Consistency'，探索了通过自一致性提升推理能力的方法；4. 'Few-Shot Inference in Large Language Models via Prompt Tuning'，讨论了通过微调提示提升少样本推理能力的技术。