Hierarchical NeuroSymbolic Approach for Action Quality Assessment

本文介绍了一种神经符号学范式，用于行动质量评估（AQA），该方法利用计算机视觉定量评估人类行动的执行情况。目前的AQA方法是端到端的神经模型，缺乏透明度，往往存在偏差，因为它们是基于主观人类判断作为基准进行训练的。为了解决这些问题，我们引入了一种神经符号学范式用于AQA，该方法使用神经网络从视频数据中抽象可解释的符号，并通过应用规则对这些符号进行质量评估。本文以跳水为案例研究。我们发现，领域专家更喜欢我们的系统，并认为它比纯神经方法更具信息量。我们的系统还实现了最先进的行动识别和时间分割，并自动生成详细报告，将跳水分解为其元素，并提供具有视觉证据的客观评分。经领域专家验证，该报告可用于协助评判员评分、帮助培训评判员并为跳水运动员提供反馈。我们将开源所有已注释的训练数据和代码，以便易于复制。

本论文旨在解决行为质量评估（AQA）中存在的问题，包括缺乏透明度、主观性和偏见等问题。

本论文提出了一种基于神经符号学的AQA范式，通过从视频数据中提取可解释的符号，并对这些符号应用规则来进行质量评估。

本论文以跳水为案例研究，通过实验验证了该方法的有效性，并自动生成详细报告，包括行为元素和客观评分等信息。该报告可用于协助评判员评分、培训评判员和向跳水运动员提供反馈。此外，作者将所有注释的训练数据和代码开源，以便复现。

最近在这个领域中，还有一些相关的研究，如《End-to-End Learning of Action Detection from Frame Glimpses in Videos》和《Learning to Score Olympic Diving from Videos with LSTM Networks》等。