Hierarchical NeuroSymbolic Approach for Comprehensive and Explainable Action Quality Assessment

本文介绍了一种新的行动质量评估（AQA）方法，它应用计算机视觉对人类行动的执行进行定量评估。目前的AQA方法是端到端的神经模型，它们缺乏透明度，且易受训练数据的主观人类判断的影响。为了解决这些问题，本文提出了一种神经符号学的AQA范式，它使用神经网络从视频数据中抽象出可解释的符号，并通过对这些符号应用规则来进行质量评估。以跳水为案例研究，本文发现，领域专家更喜欢本系统，并认为它比纯神经方法更具信息量。本系统还实现了最先进的动作识别和时间分割，并自动生成详细报告，将跳水分解为其元素，并提供具有视觉证据的客观评分。经领域专家验证，该报告可用于协助裁判打分、帮助裁判培训，并为跳水运动员提供反馈。注释训练数据和代码：https://github.com/laurenok24/NSAQA。

本文尝试解决动作质量评估中存在的问题，即当前的端到端神经模型缺乏透明度并且容易受到主观人类判断的影响。

本文引入了一种神经符号学范式用于动作质量评估，该范式使用神经网络从视频数据中抽象出可解释的符号，并通过对这些符号应用规则来进行质量评估。

本文以跳水为案例研究，提出的系统在跳水动作识别和时间分割方面达到了最先进的水平，并自动生成详细报告，为裁判提供了客观评分和视觉证据。作者提供了带注释的训练数据和代码。

最近的相关研究包括使用深度学习进行动作识别和质量评估的其他工作，如《End-to-End Learning of Action Detection from Frame Glimpses in Videos》和《Deep Learning for Action and Gesture Recognition in Image Sequences: A Survey》。