IVAC-P2L: Leveraging Irregular Repetition Priors for Improving Video Action Counting

视频动作计数（VAC）通过量化视频中重复动作来分析运动、健身和日常活动至关重要。然而，传统的VAC方法忽略了动作重复的复杂性，如中断和周期持续时间的变异性。我们的研究通过引入一种新的VAC方法，称为不规则视频动作计数（IVAC），来解决这一不足。IVAC优先建模视频中的不规则重复模式，我们通过两个主要方面来定义这些模式：周期内一致性和周期间间隔不一致性。周期内一致性确保周期段的时空表示的同质性，表示周期内的动作一致性。周期间间隔不一致性强调了区分周期段和间隔段的内在内容差异的重要性。为了概括这些原则，我们提出了一种新的方法，包括一致性和不一致性模块，支持独特的拉-推损失（P2L）机制。IVAC-P2L模型应用拉损失来促进周期段特征的一致性，应用推损失来清晰地区分周期段和间隔段的特征。在RepCount数据集上进行的实证评估表明，IVAC-P2L模型在VAC任务性能方面树立了新的基准。此外，该模型表现出卓越的适应性和泛化性，可以在各种视频内容上胜过现有模型，在UCFRep和Countix两个额外的数据集上表现出色，而无需进行特定于数据集的优化。这些结果证实了我们在解决视频中的不规则重复方面的方法的有效性，并为视频分析和理解的进一步发展铺平了道路。

解决问题：本论文旨在解决视频动作计数中的不规则动作重复问题，提出了一种新的方法IVAC来解决这个问题。

关键思路：IVAC模型通过一致性和不一致性模块以及P2L机制来建模视频中的不规则动作重复，强调循环间一致性和循环内不一致性，达到更好的计数效果。

其他亮点：IVAC-P2L模型在RepCount数据集上的表现超过了现有模型，并且在UCFRep和Countix数据集上也表现出了很好的泛化能力。实验设计合理，模型在多个数据集上进行了测试，且无需特定优化。

相关研究：最近的相关研究包括：'Temporal Cycle-Consistency Learning'，'Video Action Transformer Network'，'Temporal Pyramid Network for Action Recognition'等。