O-TALC: Steps Towards Combating Oversegmentation within Online Action Segmentation

在线时间动作分割展示了在许多需要实时跟踪和理解延长人类动作序列的人机交互任务中具有强大的潜力。然而，传统的动作分割方法采用离线的两阶段方法，依赖于计算密集型的视频全局特征进行分割，因此不适用于在线人机交互应用。为了促进对一系列流入视频数据进行在线动作分割，我们引入了两种方法，以改进骨干动作识别模型的训练和推断，使其能够直接部署于在线帧级分类中。首先，我们引入了周围密集采样来进行训练，以促进训练与推断剪辑匹配，并改善分段边界预测。其次，我们引入了一种在线时间感知标签清理（O-TALC）策略，以明确减少在线推断过程中的过分割。由于我们的方法是骨干不变的，因此可以与计算效率高、能够实时操作且具有小分割延迟的时空动作识别模型一起部署。我们展示了我们的方法优于类似的在线动作分割工作，并且在处理具有挑战性的细粒度数据集时，与许多具有完整时间分辨率的离线模型的性能相当。

解决问题：论文旨在解决在线动作分割的问题，提出了两种方法来改进训练和推理过程，使得骨干动作识别模型能够直接应用于在线帧级分类。

关键思路：论文提出了两种方法，一种是使用周围的密集采样来训练模型，以便在推理时匹配剪辑，提高分割边界预测的准确性；另一种是使用在线时间感知标签清洗策略来显式地减少在线推理期间的过分割。

亮点：该方法可以与计算效率高的时空动作识别模型一起使用，能够实时操作并具有小的分割延迟；实验结果表明该方法优于类似的在线动作分割工作，并且在处理具有挑战性的细粒度数据集时与许多具有完整时间分辨率的离线模型的性能相当。

相关研究：最近的相关研究包括：《Online Action Detection with Proposal Selection》、《Real-Time Action Recognition with Enhanced Motion Vector CNNs》、《Online Action Segmentation with Context Graph and Attention Mechanism》等。