A Mixture of Experts Approach to 3D Human Motion Prediction

这个项目解决了人类运动预测的挑战，这对于自动驾驶车辆的运动检测等应用来说非常重要。之前的工作强调需要低推理时间，以提供实时性能，以满足这些应用的需求。我们的主要目标是通过在计算限制下尽可能地复制最先进的时空变换器模型（SOTA），来批判性地评估现有的模型架构，确定它们的优势和改进机会。这些模型已经超越了基于RNN的模型的限制，并通过使用时空表示展示了在短期和长期时间范围内生成合理运动序列的能力。我们还提出了一种新的架构，通过在时空注意力层中结合专家混合（MoE）块来解决实时推理速度的挑战。使用的特定变体是Soft MoE，这是一个完全可微的稀疏Transformer，已经显示出在更低的推理成本下能够实现更大的模型容量的有希望的能力。我们将代码公开在https://github.com/edshieh/motionprediction上。

本文旨在解决人类运动预测问题，尤其是在自动驾驶车辆运动检测等应用中的关键性问题。

本文通过复制现有的最先进的Spatio-Temporal Transformer模型，并在其基础上提出了一种新颖的架构，即在空间-时间（ST）注意层中加入专家混合（MoE）块，以解决实时推理速度方面的挑战。在模型的设计中，使用了全可微的稀疏Transformer Soft MoE，该模型在可用的推理成本下实现了更大的模型容量。

本文提出了一种新颖的模型架构，以解决实时推理速度方面的挑战。同时，作者还公开了代码，并使用了多种数据集进行实验。此外，本文还对现有模型进行了批判性评估，以确定其优点和改进机会。

在最近的相关研究中，还有一些关于人类运动预测的研究，例如：'Human Motion Prediction using Spatio-Temporal Generative Model', 'Trajectory Prediction in Crowded Spaces Using Social Forces and Topological Maps'等。