Real-Time Anomaly Detection and Reactive Planning with Large Language Models

基于互联网规模数据训练的基础模型，如大型语言模型（LLM），具有零样本泛化能力，可以成为探测和缓解机器人系统失配故障的有前途的技术。但是，要充分实现这一承诺，需要解决两个挑战：（i）减轻这些模型的计算开销，使它们可以在线应用；（ii）将它们对潜在异常的判断纳入安全控制框架。在这项工作中，我们提出了一个两阶段推理框架：第一阶段是快速的二进制异常分类器，分析LLM嵌入空间中的观测结果，然后触发一个较慢的后备选择阶段，利用生成LLM的推理能力。这些阶段对应于模型预测控制策略中的分支点，该策略维护了沿着各种后备计划继续的联合可行性，以考虑慢推理者的延迟，一旦检测到异常即可确保安全。我们展示了我们的快速异常分类器优于基于最先进的GPT模型的自回归推理，即使使用相对较小的语言模型实例化。这使得我们的运行时监视器能够在资源和时间限制下提高动态机器人系统（如四旋翼或自动驾驶车辆）的可信度。我们提供了在仿真和实际实验中演示我们方法的视频，可在此项目页面上查看：https://sites.google.com/view/aesop-llm。

本文旨在探讨如何利用大型语言模型（LLMs）检测和缓解机器人系统的失效模式，但要解决计算开销大的问题，并将其与安全控制框架结合起来。

本文提出了一个两阶段推理框架，第一阶段是快速的二进制异常分类器，分析LLM嵌入空间中的观察结果，然后触发更慢的回退选择阶段，利用生成LLM的推理能力。这个框架可以保证安全控制策略的联合可行性，并在检测到异常时维护沿着各种回退计划继续的联合可行性。

本文的快速异常分类器表现优于基于GPT模型的自回归推理，即使使用相对较小的语言模型。作者在模拟和实际实验中展示了他们的方法，并提供了视频和开源代码。

最近的相关研究包括使用深度学习技术进行机器人系统建模和控制，以及使用大型语言模型进行自然语言处理和图像处理。