RADIUM: Predicting and Repairing End-to-End Robot Failures using Gradient-Accelerated Sampling

在安全关键的应用中使用自主系统之前，我们必须能够理解和验证这些系统的安全性。对于真实世界测试的风险或成本过高的情况，我们提出了一种基于模拟的框架，用于a）预测自主系统可能失败的方式，并b）自动调整系统的设计和控制策略以预防性地减轻这些故障。现有的故障预测工具很难搜索高维环境参数，不能有效地处理带有视觉环路的系统的端到端测试，并且在发现故障后提供很少的指导，以便如何减轻故障。我们通过近似贝叶斯推理的方法解决这个问题，并使用可微分模拟和渲染进行高效的故障案例预测和修复。对于没有可微分模拟器的情况，我们提供了我们算法的无梯度版本，并且我们包括对基于梯度和无梯度方法之间权衡的理论和实证评估。我们将我们的方法应用于一系列机器人和控制问题，包括优化机器人群的搜索模式、无人机编队控制和强韧网络控制。与基于优化的伪造方法相比，我们的方法预测了更多样化、更具代表性的故障模式，我们发现我们使用可微分模拟产生的解决方案成本最多可以降低10倍，并且相对于无梯度技术，收敛所需的迭代次数最多可以减少2倍。在硬件实验中，我们发现使用我们的方法修复控制策略可以提高5倍的鲁棒性。附带的代码和视频可以在https://mit-realm.github.io/radium/找到。

论文试图通过仿真预测自主系统可能出现的故障，并自动调整系统的设计和控制策略来预防这些故障，以解决安全性验证的问题。

通过近似贝叶斯推断的方法，使用可微分仿真和渲染来有效地预测故障案例并修复控制策略，以提高自主系统的鲁棒性。相比于基于优化的验证方法，论文提出的方法可以预测出更多样化、代表性的故障模式，并且采用可微分仿真的解决方案可以降低成本并加速收敛。

论文的实验包括优化机器人群体的搜索模式、无人机编队控制和网络控制等多个领域，并且在硬件实验中发现使用论文提出的方法可以将控制策略的鲁棒性提高5倍。论文提供了众多开源代码和视频，并对基于梯度和基于非梯度的方法进行了理论和实证评估。

最近的相关研究包括基于模型的强化学习、基于优化的验证方法和基于模型的故障注入等。其中一些论文包括“Model-Based Reinforcement Learning for Atari”，“Robustness Certification for Nonlinear Systems Using Neural Networks and Optimization”，“Model-Based Safety and Performance Analysis with Simulink Design Verifier”。