Revisiting Prompt Optimization with Large Reasoning Models-A Case Study on Event Extraction

大型推理模型（LRMs），例如 DeepSeek-R1 和 OpenAI 的 o1，在各种推理任务中展现了卓越的能力。它们在生成和处理中间推理步骤方面的强大能力，也引发了这样的讨论：这些模型可能不再需要大量的提示工程或优化，即可正确理解人类指令并生成准确的输出。在本研究中，我们旨在系统性地探讨这一开放性问题，并以事件抽取这一结构化任务为案例进行研究。我们对两种 LRMs（DeepSeek-R1 和 o1）以及两种通用型大语言模型（LLMs，GPT-4o 和 GPT-4.5）进行了实验，测试了它们作为任务模型或提示优化器时的表现。结果表明，在像事件抽取这样复杂的任务中，LRMs 作为任务模型时仍然可以从提示优化中获益；而将 LRMs 用作提示优化器时，则可以生成更有效的提示。最后，我们对 LRMs 常见的错误进行了分析，并强调了 LRMs 在改进任务指令和事件指南时表现出的稳定性和一致性。

论文试图验证大型推理模型（LRMs）在复杂任务如事件抽取中是否仍然需要精心设计的提示词，以及LRMs作为提示优化器的表现如何。这是一个相对新颖的问题，因为它探讨了LRMs能力的边界以及其在实际应用中的最佳实践。

关键思路是通过对比实验研究LRMs（如DeepSeek-R1和OpenAI o1）与通用大语言模型（LLMs，如GPT-4o和GPT-4.5）在事件抽取任务中的表现。具体来说，论文分析了LRMs作为任务模型时是否受益于提示优化，以及作为提示优化器时的表现。相比现有研究，这篇论文的独特之处在于系统性地研究了LRMs在复杂任务中的适用性和局限性。

论文通过实验表明，即使在LRMs中，复杂任务仍需提示优化以提升性能；同时，LRMs作为提示优化器时生成的提示比传统方法更有效。实验设计包括两个LRMs和两个LLMs，并将它们分别用作任务模型和提示优化器。虽然未提及具体数据集或开源代码，但作者进行了错误分析，揭示了LRMs在任务指令和事件指南改进方面的稳定性和一致性。未来值得深入研究的方向包括进一步优化提示工程方法、探索更复杂的任务场景以及开发针对特定任务的微调策略。

相关研究包括：1) 提示工程在LLMs中的应用，例如《Chain of Thought Prompting Elicits Reasoning in Large Language Models》；2) LRMs在复杂推理任务中的表现，如《Evaluating Large Language Models Trained on Code》；3) 事件抽取领域的深度学习方法，例如《Event Extraction as Machine Reading Comprehension》。这些研究共同构成了当前关于LLMs和LRMs能力边界的讨论背景。