Rethinking the Architecture Design for Efficient Generic Event Boundary Detection

本文探讨了通用事件边界检测（Generic event boundary detection，GEBD）模型在实际应用中存在的问题，即现有的GEBD模型往往将最终性能放在优先位置，而忽略了模型复杂度和推理速度的平衡，从而导致其在实际场景下的部署效率低下。作者在实验中重新审视了GEBD模型的架构，并发现了一些令人惊讶的发现。首先，作者发现一个简洁的GEBD基线模型已经可以在不需要复杂设计的情况下实现良好的性能。其次，作者发现GEBD模型中广泛应用的图像域骨干网络可能存在大量的冗余架构，因此作者逐步对每个组件进行了“现代化”以提高效率。第三，作者发现使用图像域骨干网络进行时空学习时，以空间优先的贪心方式进行的GEBD模型可能会出现分散注意力的问题，这可能是GEBD效率低下的罪魁祸首。而使用视频域骨干网络来共同进行时空建模则是解决这个问题的有效方法。作者的研究成果是一个名为EfficientGEBD的GEBD模型系列，它在相同的骨干网络下比以前的SOTA方法性能提高了高达1.7％，速度提高了280％。作者的研究促使社区设计现代GEBD方法时要考虑模型复杂度，特别是在资源感知的应用中。该研究的代码可在\url{https://github.com/Ziwei-Zheng/EfficientGEBD}上找到。

论文旨在解决通用事件边界检测（GEBD）中模型复杂度和推理速度之间的平衡问题，以便在实际场景中更高效地部署。

通过重新审视GEBD模型的架构，发现简洁的基线模型已经可以实现良好的性能，使用视频域骨干网进行时空建模可以有效解决分心问题，并且逐步“现代化”每个组件可以提高效率。

提出了一系列名为EfficientGEBD的模型，相较于之前的最先进方法，在相同的骨干网下，性能提高了1.7％，速度提高了280％。该研究促使社区在设计现代GEBD方法时考虑模型复杂度，特别是在资源感知应用中。代码已经开源。

与此相关的最近研究包括：Temporal Shift Module、STPN、TSM和TPN。