T4P: Test-Time Training of Trajectory Prediction via Masked Autoencoder and Actor-specific Token Memory

轨迹预测是一个具有挑战性的问题，需要考虑多个参与者之间和周围环境之间的相互作用。虽然数据驱动方法已被用于解决这个复杂的问题，但它们在测试时受到分布偏移的影响，预测不可靠。因此，已经提出了几种在线学习方法，利用轨迹预测任务的自动标记特性，使用从观察数据的真实数据中得出的回归损失来解决这个问题。我们主要解决以下两个问题。首先，以前的研究欠拟合和过拟合，因为它们只优化运动解码器的最后一层。为此，我们采用掩码自编码器（MAE）进行表示学习，以鼓励在移位测试分布中更新更深层次的复杂交互建模。其次，利用驾驶数据的序列性质，我们提出了一个特定参与者的令牌记忆，使得可以在测试时学习参与者特定的运动特征。我们提出的方法已在各种具有挑战性的跨数据集分布偏移场景中进行了验证，包括nuScenes、Lyft、Waymo和Interaction。我们的方法在预测准确性和计算效率方面超过了现有的最先进的在线学习方法。代码可在https://github.com/daeheepark/T4P上获得。

解决问题：论文旨在解决轨迹预测中数据分布转移时数据驱动方法不可靠的问题，提出了一种在线学习方法，结合自编码器和角色特定记忆，来提高预测准确性和计算效率。

关键思路：论文提出了使用自编码器进行表示学习，以便在测试时能够更好地处理分布转移，同时使用角色特定记忆来学习每个角色的运动特征，从而提高预测准确性。

其他亮点：论文在多个数据集上进行了验证，包括nuScenes，Lyft，Waymo和Interaction，并且在预测准确性和计算效率方面优于现有的在线学习方法。作者提供了代码开源。

相关研究：在轨迹预测领域的相关研究包括：1）使用图神经网络进行轨迹预测；2）使用生成对抗网络进行轨迹预测；3）使用深度强化学习进行轨迹预测。