Efficient Action Counting with Dynamic Queries

本文旨在对视频中的重复动作周期进行量化。现有的大多数方法依赖于相似性相关矩阵来表征动作的重复性，但由于二次计算复杂度，它们的可扩展性受到了阻碍。在本文中，我们介绍了一种新的方法，它采用了一个动作查询表示来定位重复的动作周期，具有线性计算复杂度。基于这个表示，我们进一步开发了两个关键组件来解决时间重复计数的基本挑战。首先，为了促进开放式动作计数，我们提出了动态更新方案，用于动作查询。与静态动作查询不同，这种方法动态地将视频特征嵌入到动作查询中，提供了更灵活和通用的表示。其次，为了区分感兴趣的动作和背景噪声动作，我们采用了查询间对比学习来规范对应于不同动作查询的视频表示。因此，我们的方法在长时间视频序列、未见过的动作和不同速度的动作等方面显著优于以前的方法。在具有挑战性的RepCountA基准测试中，我们在OBO准确性方面比最先进的方法TransRAC高出26.5%，平均误差减少22.7%，计算负担减少94.1%。代码可在https://github.com/lizishi/DeTRC上获得。

论文旨在解决视频中重复动作周期的计数问题，现有方法的计算复杂度较高，论文提出了一种基于动作查询表示的新方法，以线性计算复杂度定位重复动作周期。

论文的关键思路是使用动作查询表示来定位重复动作周期，并提出了动态更新方案和相互查询对比学习来解决开放式动作计数和区分感兴趣的动作和背景噪音动作的问题。

论文的实验结果表明，相较于现有方法，该方法在长视频序列、未知动作和不同速度下的表现都更好。在RepCountA基准测试中，该方法的OBO准确性比现有最先进的方法TransRAC提高了26.5％，平均误差降低了22.7％，计算负担降低了94.1％。论文提供了开源代码。

在该领域的相关研究包括TransRAC、C2P和TSP-Net等。