Self-Discover: Large Language Models Self-Compose Reasoning Structures

我们介绍了SELF-DISCOVER，这是一个通用框架，用于让LLMs自我发现任务内在的推理结构，以解决Typical prompting methods难以处理的复杂推理问题。该框架的核心是自我发现过程，其中LLMs选择多个原子推理模块，例如批判性思维和逐步思考，并将它们组合成一个明确的推理结构，供LLMs在解码期间遵循。SELF-DISCOVER在具有挑战性的推理基准测试（如BigBench-Hard、基于代理的推理和MATH）上，相对于Chain of Thought（CoT）提高了GPT-4和PaLM 2的性能，最高可达32%。此外，SELF-DISCOVER的表现优于推理密集型方法，例如CoT-Self-Consistency，而需要的推理计算量少10-40倍。最后，我们展示了自我发现的推理结构在模型系列中具有普适性：从PaLM 2-L到GPT-4，从GPT-4到Llama2，并与人类推理模式具有共性。

论文试图通过SELF-DISCOVER框架自动发现任务内在的推理结构，解决典型提示方法难以应对的复杂推理问题。该框架能够显著提高GPT-4和PaLM 2在具有挑战性的推理基准上的性能。

SELF-DISCOVER框架通过自动选择多个原子推理模块，如批判性思维和逐步思维，并将它们组合成明确的推理结构，从而帮助LLMs解决复杂推理问题。该框架还能够显著减少推理计算量，同时提高性能。

论文显示，SELF-DISCOVER框架在BigBench-Hard、grounded agent reasoning和MATH等具有挑战性的推理基准上，比Chain of Thought (CoT)的性能提高了32%。此外，SELF-DISCOVER比CoT-Self-Consistency等推理密集型方法的性能提高了20%以上，同时需要10-40倍少的推理计算。研究还表明，自发现的推理结构适用于多个模型系列，并与人类推理模式共享共同点。

最近的相关研究包括CoT和CoT-Self-Consistency等推理方法。