Modeling Others' Minds as Code

准确预测人类行为对于实现稳健且安全的人机协作至关重要。然而，现有的人类行为建模方法往往需要大量数据，且适应性较差：它们要么对理性做出不切实际的假设，要么计算开销过大而难以快速调整。我们的核心观点是，许多日常社会互动可能遵循可预测的模式——即能够为参与者和观察者最小化认知负担的高效“脚本”，例如“等绿灯亮了再走”。我们提出将这些行为惯例建模为以计算机代码实例化的“行为程序”，而非基于信念与欲望的传统策略模型。为此，我们提出了ROTE算法：该算法创新性地结合大语言模型（LLM）来自动生成行为程序的假设空间，并利用概率推断来处理该空间中的不确定性。我们在一系列网格世界任务以及一个大规模具身家庭模拟环境中对ROTE进行了测试。结果表明，ROTE能够仅凭稀疏的观测数据准确预测人类和AI的行为，在样本内准确性与样本外泛化能力方面均优于包括行为克隆和基于大语言模型的方法在内的多种竞争基线，性能提升最高达50%。通过将行为理解视为一个程序合成问题，ROTE为人工智能系统在现实世界中高效、有效地预测人类行为开辟了一条新路径。

论文试图解决人类行为预测在人机协作中的准确性和鲁棒性问题。现有方法通常需要大量数据、对理性假设过于理想化，或计算成本过高，难以快速适应动态环境。该问题在现实世界的人机交互中至关重要，虽已有相关研究，但高效、低认知负荷且具备泛化能力的建模方法仍属挑战。

提出将人类日常社会互动建模为可执行的‘行为程序’（behavioral programs），而非基于信念和欲望的传统策略模型。核心创新是将行为理解视为程序合成问题，通过结合大语言模型（LLM）生成候选程序空间，并用概率推断处理不确定性，从而实现从稀疏观测中高效学习与推理。

论文提出了ROTE算法，在网格世界任务和大规模具身家庭模拟器中验证了其性能。相比行为克隆和纯LLM方法，ROTE在样本内准确率和样本外泛化上最高提升50%。实验设计覆盖多种交互场景，展示了强泛化能力和数据效率。作者强调代码化行为模式的潜力，未来可扩展至真实机器人系统。目前未明确提及开源代码。

1. 'Theory of Mind for Predicting Human Behavior in Human-Robot Interaction', AAAI 2021 2. 'Behavior Cloning from Observation via Latent Plans', NeurIPS 2022 3. 'Large Language Models as Agent Simulators for Human Behavior', arXiv:2302.06763 4. 'Programmatic Representations for Interactive Behavior Modeling', ICML 2023 5. 'Social Biases in AI: Implications for Behavioral Prediction', FAccT 2022