Corki: Enabling Real-time Embodied AI Robots via Algorithm-Architecture Co-Design

具身化人工智能机器人有潜力从根本上改善人类的生活和制造方式。在使用大型语言模型控制机器人的新兴领域中，持续取得进展关键在于高效的计算基础设施。特别是，当前的具身化人工智能机器人计算系统仅基于算法开发人员的兴趣设计，其中机器人动作被划分为离散的帧基础。这样的执行流程会导致高延迟和能量消耗。本文提出了Corki，一个用于实时具身化人工智能机器人控制的算法-架构协同设计框架。我们的想法是将LLM推理、机器人控制和数据通信在具身化人工智能机器人计算流程中解耦。Corki不是为单个帧预测动作，而是预测接近未来的轨迹，以减少LLM推理的频率。该算法与硬件相结合，加速将轨迹转换为实际扭矩信号以控制机器人，并且使用并行数据通信与计算的执行流程。Corki将LLM推理频率大大降低了高达8.0倍，从而实现了高达3.6倍的加速。成功率的提高可以高达17.3%。提供了重新实现的代码。 https://github.com/hyy0613/Corki

提高具有身体的人工智能机器人控制的效率和速度

使用Corki算法-架构协同设计框架，将LLM推理、机器人控制和数据通信解耦，通过预测近期未来的轨迹来减少LLM推理的频率，从而大大提高具有身体的人工智能机器人的控制效率和速度。

Corki算法-架构协同设计框架可以将LLM推理的频率降低8.0倍，从而实现最高3.6倍的加速，成功率提高最多17.3%。研究提供了代码可供重新实现。

最近在这个领域中，还有一些相关的研究，例如“Learning to Move in the Real World with Adversarial Inverse Reinforcement Learning”和“Learning Dexterous In-Hand Manipulation”。