From Medprompt to o1: Exploration of Run-Time Strategies for Medical Challenge Problems and Beyond

运行时引导策略，如Medprompt，对于引导大型语言模型（LLMs）在具有挑战性的任务中达到最佳性能非常有价值。Medprompt证明，通过使用提示来激发涉及链式思维推理和集成的运行时策略，可以将通用的大型语言模型聚焦于医学等专业领域，实现最先进水平的表现。OpenAI的o1-preview模型代表了一种新的范式，即模型在生成最终响应之前被设计为进行运行时推理。我们试图理解o1-preview在一系列医学挑战问题基准测试中的表现。继GPT-4上的Medprompt研究之后，我们系统地评估了o1-preview模型在各种医学基准测试中的表现。值得注意的是，即使没有使用提示技术，o1-preview在很大程度上仍然超过了带有Medprompt的GPT-4系列。我们进一步系统地研究了经典提示工程策略（以Medprompt为代表）在新推理模型范式中的有效性。我们发现，少量示例提示会阻碍o1的表现，这表明上下文学习可能不再是推理原生模型的有效引导方法。尽管集成仍然是可行的，但它是资源密集型的，需要仔细的成本-性能优化。我们在不同运行时策略的成本和准确性分析中揭示了一个帕累托前沿，GPT-4o代表了一个更经济的选择，而o1-preview则在更高的成本下实现了最先进的性能。虽然o1-preview提供了顶级性能，但在特定情境下，带有引导策略（如Medprompt）的GPT-4o仍然具有价值。此外，我们注意到o1-preview模型在许多现有的医学基准测试中已经接近饱和，这强调了需要新的、更具挑战性的基准测试。最后，我们对大型语言模型在推理时间计算的一般方向进行了反思。

该论文探讨了如何通过运行时策略来提高大型语言模型（LLMs）在医疗领域挑战性任务上的表现。具体来说，它评估了OpenAI的o1-preview模型在这种任务上的性能，并与GPT-4系列模型进行了比较。

论文的关键思路是评估和理解o1-preview模型在医疗领域挑战性任务中的表现，特别是在不使用提示技术的情况下。研究发现，o1-preview模型在许多任务上超过了使用Medprompt策略的GPT-4模型，这表明o1-preview模型在设计上已经具备了强大的运行时推理能力。此外，论文还探讨了经典提示工程策略在新一代推理模型中的有效性，发现少样本提示对o1-preview模型的表现有负面影响。

论文通过系统性的实验设计，评估了o1-preview模型在多个医疗基准测试上的表现。实验使用了多种医疗数据集，并且没有提及开源代码。研究发现，尽管少样本提示对o1-preview模型不利，但集成方法仍然有效，尽管资源消耗较大。此外，论文还提出了成本-性能优化的概念，揭示了一个Pareto前沿，即GPT-4o在成本上更具优势，而o1-preview在性能上达到顶级。最后，论文指出o1-preview模型在现有医疗基准上已接近饱和，建议开发新的、更具挑战性的基准。

近期在这一领域的一些相关研究包括： 1. "MedPrompt: Steering Large Language Models to State-of-the-Art Performance in Medical Domains" - 这篇论文介绍了Medprompt策略，通过链式思维和集成方法引导LLM在医疗领域取得顶级表现。 2. "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" - 探讨了链式思维提示在LLM中的作用。 3. "In-Context Learning in Large Language Models: A Survey" - 综述了上下文学习在LLM中的应用和发展。 4. "Evaluating the Effectiveness of Few-Shot Learning in Large Language Models" - 研究了少样本学习在LLM中的效果。