Behavior Generation with Latent Actions

本文研究了从标记数据集中生成复杂行为的生成建模问题。与语言或图像生成不同，决策需要建模行动——连续值向量，其分布在多个模态中，可能来自未经筛选的来源，其中生成错误可能会在连续预测中累积。最近一类称为行为变换器（BeT）的模型通过使用k均值聚类来离散化行动以捕捉不同模式来解决这个问题。然而，k均值在高维行动空间或长序列中很难扩展，并且缺乏梯度信息，因此BeT在建模长程行动时表现不佳。在本文中，我们提出了一种名为向量量化行为变换器（VQ-BeT）的通用行为生成模型，用于处理多模态行动预测、条件生成和部分观测。VQ-BeT通过使用分层向量量化模块对连续行动进行标记来增强BeT。在包括模拟操作、自动驾驶和机器人等七个环境中，VQ-BeT改进了BeT和扩散策略等最先进的模型。重要的是，我们展示了VQ-BeT更好地捕捉行为模式的能力，同时加速了比扩散策略快5倍的推理速度。视频和代码可以在https://sjlee.cc/vq-bet找到。

论文旨在解决行为生成中的复杂行为建模问题，特别是针对连续动作空间和长序列的情况。

论文提出了一种名为VQ-BeT的模型，通过使用分层向量量化模块对连续动作进行标记化，从而改进了行为转换器(BeT)的性能。

VQ-BeT是一种通用的行为生成模型，可以处理多模态行为预测、条件生成和部分观察。在7个环境中进行了实验，包括模拟操作、自主驾驶和机器人等领域，VQ-BeT在性能上优于BeT和Diffusion Policies。值得注意的是，VQ-BeT能够更好地捕捉行为模式，并且比Diffusion Policies的推理速度提高了5倍。论文提供了视频和代码。

最近的相关研究包括Diffusion Policies等模型。