Signals: Trajectory Sampling and Triage for Agentic Interactions

基于大语言模型的智能体（agent）应用正日益依赖包含规划、动作执行与环境反馈在内的多步交互循环。尽管此类系统目前已大规模部署，但其上线后的持续优化仍面临严峻挑战。智能体的交互轨迹数据量庞大且具有非确定性；无论采用人工审核还是借助辅助大语言模型进行审查，逐一检视每条轨迹均十分耗时，且成本高昂。为此，我们提出一种轻量级、以信号驱动的智能体交互轨迹分类框架。该方法从实时交互中快速计算出成本低廉、普适性强的各类信号，并将其作为结构化属性附加于各条轨迹之上，从而实现高效轨迹筛选——在不干扰线上智能体运行行为的前提下，精准识别出信息量较高的交互样本。我们将这些信号归纳为一个粗粒度的分类体系，涵盖三大维度：交互层面（错位、停滞、脱离、满意）、执行层面（失败、循环）以及环境层面（资源耗尽），所有信号均可在无需调用大语言模型的情况下完成计算。在面向工具增强型智能体评估的主流基准测试集 τ-bench 上开展的一项受控人工标注实验表明：相较于启发式过滤（74%）和随机采样（54%），基于信号的采样策略可将轨迹的信息量达标率提升至82%，同时每条有效信息轨迹的获取效率提高1.52倍。这一优势在不同奖励水平分层及多种任务领域中均保持稳健，证实了所提信号确能带来真实、逐条轨迹级别的信息增益，而不仅限于对显而易见的失败案例进行过采样。上述结果表明，轻量级信号可作为智能体系统实用可行的采样基础设施，并为进一步构建偏好数据集及开展上线后持续优化指明了一条切实可行的技术路径。

在大型语言模型驱动的智能体（agentic）系统上线后，如何高效地从海量、非确定性的交互轨迹中识别出最具信息量的样本，以支持低成本、高效率的后部署优化？现有方法（如人工审核或辅助LLM评估）因计算开销大、延迟高而难以规模化，且缺乏轻量、实时、无需额外模型调用的轨迹筛选机制。

提出一种轻量级、信号驱动的轨迹筛选框架：不依赖LLM推理或环境重放，而是从原始交互日志中实时提取廉价、结构化、语义可解释的‘信号’（如停滞、循环、工具调用失败、用户满意度线索等），按预定义的三层分类法（交互/执行/环境）组织，作为轨迹元数据用于优先采样——完全零侵入、零延迟，保持线上行为不变。

在τ-bench基准上开展受控人工标注实验，信号采样实现82%的信息率（vs. 74%启发式、54%随机），单位信息成本降低1.52×；优势跨奖励分层与任务域稳健，证明其捕捉的是深层失败模式而非表面错误；所有信号均基于token级日志解析（如状态码、重试次数、响应长度突变、空操作序列等），无需任何模型调用；论文未提代码开源，但τ-bench为公开基准；值得深入的方向包括信号自适应加权、与在线偏好学习（online preference learning）闭环集成、以及信号到合成反馈（synthetic feedback）的映射。

Learning from Human Feedback for Language Models (2022); Self-Refine: Iterative Refinement with Self-Feedback (NeurIPS 2023); AgentBench: Evaluating Multi-Agent Systems (ICLR 2024); Trajectory-Based Reward Modeling for LLM Agents (arXiv:2402.11649); LLM Agent Monitoring via Lightweight Runtime Signatures (ACL 2024 Workshop on Agent Safety)