T-DEED: Temporal-Discriminability Enhancer Encoder-Decoder for Precise Event Spotting in Sports Videos

2024年04月08日
  • 简介
    本文介绍了一种名为T-DEED的基于编码器-解码器的时间判别增强器,用于在体育视频中精确定位事件。T-DEED解决了任务中的多个挑战,包括需要区分不同帧表示的可辨识度、高输出时间分辨率以保持预测精度以及捕捉不同时间尺度上的信息以处理具有不同动态的事件的必要性。它通过其特定设计的架构来解决这些挑战,其中包括编码器-解码器来利用多个时间尺度并实现高输出时间分辨率,以及设计的时间模块来增加令牌辨别能力。利用这些特性,T-DEED在FigureSkating和FineDiving数据集上实现了最佳性能。
  • 图表
  • 解决问题
    T-DEED试图解决在体育视频中进行精确事件定位的问题,包括需要在帧表示中进行区分度、高输出时间分辨率以保持预测精度以及需要在不同时间尺度上捕捉信息以处理具有不同动态的事件等多个挑战。
  • 关键思路
    T-DEED通过其专门设计的编码器-解码器架构和增加令牌区分度的时间模块来解决这些挑战,从而利用多个时间尺度并实现高输出时间分辨率。
  • 其它亮点
    T-DEED在FigureSkating和FineDiving数据集上取得了SOTA表现。实验设计了哪些值得关注的地方,使用了哪些数据集和开源代码,需要进一步深入研究。
  • 相关研究
    在这个领域中,最近的相关研究包括Saha等人的Temporal Relational Reasoning网络和Wang等人的STPN网络。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论