【标题】TDN: Temporal Difference Networks for Efficient Action Recognition
【作者团队】Limin Wang, Zhan Tong, Bin Ji, Gangshan Wu 【发表时间】2020/12/18 【论文链接】https://arxiv.org/pdf/2012.10071.pdf 【参考链接】https://github.com/MCG-NJU/TDN 【推荐理由】 本文提出了一种新颖的时间差分网络(TDN)，该网络将时间差分算子推广到有效的时间模块（TDMs）中，用于捕获视频识别中的多尺度时间信息以进行有效的行为识别。 时间建模对于视频中的动作识别仍然具有挑战性。为了缓解这一问题，本文提出了一种新的视频结构，称为时间差分网络(TDN)，其重点是捕捉多尺度时间信息以进行有效的行动识别。TDN的核心是设计一个有效的时间模块(时分复用)，通过明确利用时间差异算子，并系统地评估其对短期和长期运动建模的影响。为了完全捕捉整个视频的时间信息， TDN采用了两级差分建模范式。具体而言，对于局部运动建模，连续帧上的时间差异用于为2D中枢神经系统提供更精细的运动模式，而对于全局运动建模，跨片段的时间差异用于捕捉运动特征激励的远程结构。TDN提供了一个简单而有原则的时态建模框架并且可以使用现有的CNN实例化，只需要很小的额外计算成本。本文提出的TDN在Something-Something V1和V2数据集上展现了最新的技术水平，与Kinetics-400数据集上的最佳性能相提并论。此外，本文进行了深入的消融研究并绘制了TDN可视化结果，希望能对时间差异操作的提供深入的分析。 图1 ： 时间差分网络(TDN)结构

内容中包含的图片若涉及版权问题，请及时与我们联系删除