MambaTalk: Efficient Holistic Gesture Synthesis with Selective State Space Models

手势合成是人机交互的重要领域，具有广泛的应用，包括电影、机器人和虚拟现实等各个领域。最近的进展利用扩散模型和注意机制来改善手势合成。然而，由于这些技术的高计算复杂性，生成具有低延迟的长且多样化的序列仍然是一个挑战。我们探讨了状态空间模型（SSMs）来解决这个挑战，实现了一个两阶段建模策略，利用离散运动先验来增强手势的质量。通过多模态集成，利用基础Mamba块，我们引入了MambaTalk，增强手势的多样性和节奏。广泛的实验表明，我们的方法与最先进的模型相当或超过其性能。

解决问题：论文尝试通过使用状态空间模型（SSMs）来解决手势合成中生成长且多样化序列的挑战，以提高手势合成的质量。

关键思路：通过使用离散运动先验的两阶段建模策略，利用基础Mamba块引入MambaTalk，通过多模态集成增强手势多样性和节奏，以解决手势合成中生成长且多样化序列的挑战。

其他亮点：论文使用了扩散模型和注意力机制来改善手势合成，但由于这些技术的高计算复杂性，生成低延迟的长且多样化序列仍然是一个挑战。实验结果表明，该方法与最先进的模型的性能相当甚至更好。

相关研究：最近的相关研究包括使用生成对抗网络（GAN）进行手势合成，使用深度学习模型进行动作识别和预测，以及使用注意力机制和扩散模型来改善手势合成。