Sketch-Plan-Generalize: Continual Few-Shot Learning of Inductively Generalizable Spatial Concepts

我们的目标是使具身代理能够归纳地学习可推广的空间概念，例如将楼梯学习为逐渐增高的塔的归纳组合。在给定人类演示的情况下，我们寻求一种学习架构，该架构可以推断出简洁的 ${program}$ 表示，以解释观察到的实例。此外，该方法应该归纳地推广到不同大小的新颖结构或表达为先前学习的概念的分层组合的复杂结构。现有的使用预训练的大型（视觉）语言模型的代码生成能力以及纯神经模型的方法在先验看不见的复杂概念上表现出较差的归纳推广性。我们的关键洞察是将归纳概念学习分解为 (i) ${\it Sketch:}$ 检测和推断新概念的粗略特征 (ii) ${\it Plan:}$ 对接地行动序列执行 MCTS 搜索 (iii) ${\it Generalize:}$ 将接地计划抽象为归纳程序。我们的流水线促进了泛化和模块化重用，使得概念的不断学习成为可能。我们的方法结合了大型语言模型 (LLM) 的代码生成能力和接地神经表示的好处，产生了神经符号程序，这些程序在构建复杂结构的任务上表现出比仅使用 LLM 或仅使用神经方法更强的归纳推广性。此外，我们展示了使用学习的概念进行具身指导的推理和规划能力。

论文旨在通过一个学习架构，使具有身体的智能体能够归纳地学习空间概念，例如将楼梯学习为逐渐增高的塔的归纳组合。该方法应该能够从人类演示中推断出简洁的程序表示，并且能够归纳地推广到不同大小的新结构或以先前学习的概念的分层组合表示的复杂结构。现有的方法在处理先前未见的复杂概念时表现出较差的归纳推理能力。

论文的关键思路是将归纳概念学习分解为三个步骤：(i) 签名检测：检测和推断新概念的粗略签名；(ii) 计划：对接地行动序列进行MCTS搜索；(iii) 归纳：将接地计划抽象为归纳程序。论文采用了大型语言模型的代码生成能力和接地神经表示的优点，生成了神经符号程序，具有更强的归纳泛化能力。

论文的亮点包括：使用了三个步骤的学习架构，能够从人类演示中推断出简洁的程序表示；结合了大型语言模型的代码生成能力和接地神经表示，生成了神经符号程序，具有更强的归纳泛化能力；在构建复杂结构的任务中，相比仅使用大型语言模型或仅使用神经模型的方法，表现出更好的归纳推理能力；论文还展示了使用学习概念进行指导的推理和计划能力。

与此相关的最新研究包括：《Learning to Compose Neural Networks for Question Answering》、《Neural-Symbolic VQA: Disentangling Reasoning from Vision and Language Understanding》、《Learning to Learn Programs from Examples》等。