Object Aware Egocentric Online Action Detection

随着Ego4D、EPIC-Kitchens和Ego-Exo4D等视角自我为中心的视频数据集的发展，研究第一人称人际互动变得更加丰富，这对增强现实和辅助生活应用至关重要。尽管取得了这些进展，当前的在线动作检测方法主要针对外部视角设计，因此未能充分利用固有于视角自我为中心的视频的独特视角。为了弥补这一差距，我们引入了一个对象感知模块，将视角自我为中心的先验知识整合到现有的OAD框架中，增强了第一人称镜头的解释。利用对象特定的细节和时间动态，我们的模块提高了对动作的场景理解。在EPIC-Kitchens 100数据集上进行了广泛的验证，我们的工作可以无缝地集成到现有模型中，开销最小，并带来持续的性能提升，这标志着将动作检测系统适应视角自我为中心的视频分析的重要一步。

论文试图解决如何在egocentric视频中有效检测动作的问题，以及如何利用egocentric-specific先验知识来提高检测准确性。

论文提出了一个Object-Aware Module，将egocentric-specific先验知识整合到现有的在线动作检测框架中，通过利用物体特定细节和时间动态来提高场景理解和动作检测准确性。

论文在Epic-Kitchens 100数据集上进行了广泛的验证，发现Object-Aware Module可以无缝地集成到现有模型中，并带来持续的性能提升。值得关注的是，论文的方法能够充分利用egocentric视频的独特视角，对增强现实和辅助生活等应用具有重要意义。

近期在该领域的相关研究包括：'First-Person Action Detection via Pose-Guided Attentional Feature Pooling'、'Egocentric Action Recognition on a Budget: Dataset, Methods, and Guidelines for Vision and Language Research'等。