DeepLocalization: Using change point detection for Temporal Action Localization

在这项研究中，我们介绍了DeepLocalization，这是一个创新的框架，专门为监测驾驶员行为而设计，用于实时定位行动。利用先进的深度学习方法的力量，我们的目标是解决分心驾驶这一关键问题——这是导致道路事故的重要因素之一。我们的策略采用双重方法：利用基于图的变点检测来准确定位时间内的行动，同时利用视频大语言模型（Video-LLM）来精确分类活动。通过精心的提示工程，我们定制了Video-LLM，使其能够熟练处理驾驶活动的细微差别，确保即使数据稀疏，其分类效果也很好。我们的框架被设计成轻量级的，针对消费级GPU进行了优化，因此在实际场景中广泛适用。我们在SynDD2数据集上对我们的方法进行了严格的测试，这是一个复杂的基准测试，用于评估分心驾驶行为，结果表明我们的方法表现出色，在事件分类和事件检测方面分别达到了57.5%和51%的准确率。这些结果突显了DeepLocalization在准确识别各种驾驶行为及其时间发生的巨大潜力，而且还在有限的计算资源范围内实现了这一目标。

本文旨在解决分散注意力驾驶的问题，通过实时定位行为，减少道路事故。同时，本文还试图验证通过深度学习方法实现驾驶行为分类的可行性。

本文提出了一种名为DeepLocalization的框架，通过Graph-Based Change-Point Detection和Video Large Language Model（Video-LLM）相结合的方式，实现了对驾驶行为的实时定位和分类。该框架经过轻量化优化，可以在消费级GPU上运行。

本文使用了SynDD2数据集进行了严格的测试，证明了DeepLocalization在驾驶行为分类和定位方面具有良好的性能。同时，本文对Video-LLM进行了定制，以适应驾驶行为的特殊性，并且开源了代码。

在相关研究方面，最近有一些研究关注于使用深度学习方法对驾驶行为进行分类和识别，例如“Real-Time Driver Posture Recognition Using Deep Learning Techniques”和“Driver Distraction Detection Using Deep Learning Techniques”。