A Cross-Dataset Study for Text-based 3D Human Motion Retrieval

我们提供了关于基于文本的三维人体运动检索的研究结果，特别关注跨数据集的普适性。由于实际原因，如数据集特定的人体表示，现有研究通常通过在同一数据集的分区上进行训练和测试来进行基准测试。在这里，我们采用统一的SMPL身体格式，适用于所有数据集，这使我们能够在一个数据集上进行训练，在另一个数据集上进行测试，以及在多个数据集上进行训练。我们的结果表明，在标准的文本-运动基准测试中，如HumanML3D、KIT Motion-Language和BABEL中存在数据集偏差。我们展示了文本增强有助于在一定程度上缩小领域差距，但差距仍然存在。我们进一步提供了在BABEL上的第一个零样本动作识别结果，在训练期间不使用分类动作标签，为未来的研究开辟了新的途径。

本文研究基于文本的3D人体动作检索，特别关注跨数据集的泛化性能。由于现有研究通常基于特定数据集的人体表示，因此存在数据集偏差问题。本文采用统一的SMPL身体格式，使得可以在一个数据集上进行训练，在另一个数据集上进行测试，或者在多个数据集上进行训练。结果表明，标准文本-动作基准测试中存在数据集偏差。文本增强可以在一定程度上缩小领域差距，但差距仍然存在。此外，本文还在BABEL上提供了第一个零样本动作识别结果，未使用分类动作标签进行训练，为未来研究开辟了新的途径。

本文采用统一的SMPL身体格式，解决了跨数据集的泛化性能问题。同时，通过文本增强缩小了领域差距，并在BABEL上实现了零样本动作识别。

本文提出了解决跨数据集泛化性能问题的新方法，同时在BABEL上实现了零样本动作识别。实验中使用了HumanML3D、KIT Motion-Language和BABEL等数据集，开源了代码。值得进一步研究的工作包括进一步缩小领域差距、提高零样本动作识别的准确性等。

最近的相关研究包括： 1. Learning to Navigate the Energy Landscape of Text-based 3D Shape Generation 2. Text2GIF: Generating Animated GIFs from Text 3. Text-to-Image Generation with Semantic-Spatial Aware GANs