Unlocking the Future: Exploring Look-Ahead Planning Mechanistic Interpretability in Large Language Models

本文探讨了大型语言模型（LLMs）中的前瞻规划机制，从信息流和内部表示两个角度进行了研究。作者发现，在最后一个标记的中间层中，MHSA的输出可以直接解码决策。基于此发现，作者进一步通过信息流追踪MHSA的来源，并揭示了MHSA主要从目标状态和最近步骤的范围中提取信息。根据信息流，作者继续研究了它所编码的信息。具体来说，作者探讨了未来决策是否已经提前编码在流的表示中。当规划成功时，作者证明了中上层在某种程度上编码了一些短期未来决策。总的来说，本研究分析了LLMs的前瞻规划机制，有助于未来研究LLMs执行规划任务。

本论文旨在从信息流和内部表示的角度探索大型语言模型中的前瞻规划机制，以促进未来大型语言模型执行规划任务的研究。

论文通过分析最后一个token的多层感知器（MLP）和多头自注意力（MHSA）组件，研究了规划是如何在内部进行的，并发现MHSA在最后一个token的中间层的输出可以在一定程度上直接解码决策。根据信息流，论文进一步追踪MHSA的来源，并揭示MHSA主要从目标状态和最近的步骤中提取信息。作者还探讨了未来决策是否已经提前编码在流的表示中，发现中上层在规划成功时会在一定程度上编码一些短期未来决策。

论文的实验设计了多个任务，包括EmbodiedQA和WebNav等，使用了多个数据集，如COCO、CLEVR和GQA等，并开源了代码。论文的发现可以为未来大型语言模型执行规划任务提供指导。

与本论文相关的研究包括：《Planning with Language: A Multi-Task Benchmark for Studying Cross-Causal Inference》、《Learning to Plan with Uncertain Semantic Memory》、《Differentiable Planning with Continuous Heuristic》等。