Simulating Environments with Reasoning Models for Agent Training

大语言模型（LLM）智能体在需要深度推理的小规模环境中表现出色，但在更广泛、更复杂的场景中运行时仍显得脆弱，尤其是在面对多样化工具和数据模式时缺乏足够的鲁棒性。为训练专门构建环境的做法既繁琐又脆弱，严重制约了技术进步。本文表明，即使无法访问真实测试平台的数据或API，大语言模型仍能模拟出逼真的环境反馈。受此能力启发，我们提出了两个框架：Simia-SFT，一种通过将少量种子数据集扩增为多样化轨迹、以环境无关方式生成监督微调（SFT）数据的流程；以及Simia-RL，一个利用大语言模型模拟反馈、无需真实环境实现即可进行强化学习（RL）训练的框架。通过对开源模型进行微调，我们在多个基准测试中均取得了持续提升，性能超越GPT-4o，并在$\tau^2$-Bench上接近o4-mini的表现。Simia-SFT与Simia-RL共同实现了无需环境工程的大规模智能体训练，以灵活的大语言模型驱动仿真取代了传统笨重且脆弱的环境实现方式。

论文试图解决LLM智能体在复杂、多样化环境中训练时对真实环境API和数据的高度依赖问题。当前构建专用训练环境成本高、扩展性差且脆弱，限制了智能体的鲁棒性和泛化能力。该问题在当前LLM代理研究中日益突出，虽有部分尝试，但尚未有效解决环境工程负担与训练可扩展性之间的矛盾。

提出Simia-SFT和Simia-RL两个框架，利用大语言模型自身能力模拟环境反馈，无需真实测试平台或API即可生成高质量监督微调（SFT）数据和强化学习（RL）奖励信号。核心创新在于将环境交互建模为可由LLM合成的过程，实现环境无关的数据扩增与闭环训练，从而摆脱对人工构建环境的依赖。

实验设计上，通过小规模种子数据生成多样化轨迹，在多个基准（如τ²-Bench）上验证效果；使用开源模型进行微调，结果超越GPT-4o并接近o4-mini性能，证明方法有效性。未提及是否开源代码。亮点包括：无需真实环境即可训练智能体、支持多工具多schema的灵活仿真、具备良好迁移能力。值得深入研究的方向包括仿真保真度评估、长期交互一致性控制以及与实际环境的对接机制。

1. Reflexion: Language Agents with Verbal Reinforcement Learning 2. ReAct: Synergizing Reasoning and Acting in Language Models 3. Toolformer: Language Models Can Teach Themselves to Use Tools 4. ART: Automatic Reasoning and Tool-use via Planning with Large Language Models 5. Self-Instruct: Aligning Language Models with Self-Generated Instructions