CoFInAl: Enhancing Action Quality Assessment with Coarse-to-Fine Instruction Alignment

行动质量评估（AQA）对于量化运动和医疗保健等领域的行动至关重要。现有方法通常依赖于从大规模行动识别数据集中预训练的骨干网络，以提高对较小AQA数据集的性能。然而，这种常见策略由于这些骨干网络本身难以捕捉AQA所必需的微妙线索而产生次优结果。此外，在较小的数据集上微调会存在过拟合的风险。为了解决这些问题，我们提出了Coarse-to-Fine Instruction Alignment（CoFInAl）。受到大型语言模型调整的最新进展的启发，CoFInAl通过将AQA重新定义为粗到细分类任务，将其与更广泛的预训练任务对齐。最初，它学习了用于粗略评估的等级原型，然后利用固定的子等级原型进行细粒度评估。这种分层方法反映了评判过程，增强了AQA框架内的可解释性。对两个长期AQA数据集的实验结果表明，CoFInAl实现了最先进的性能，在节奏体操和Fis-V上分别获得了5.49％和3.55％的显着相关性提高。我们的代码可在https://github.com/ZhouKanglei/CoFInAl_AQA上找到。

本文旨在解决动作质量评估中使用预训练模型效果不佳的问题，提出了一种新的层次化分类方法CoFInAl，以提高动作质量评估的性能。

CoFInAl通过将动作质量评估任务转化为粗细分类任务，并学习粗评估原型和固定的细评估原型，从而将动作质量评估与更广泛的预训练任务对齐，提高了性能和可解释性。

实验结果表明，CoFInAl在两个长期AQA数据集上实现了最先进的性能，相关系数分别提高了5.49％和3.55％。作者开源了代码，可供使用。值得深入研究。

与本文相关的研究包括使用预训练模型的动作识别和动作质量评估方法，以及使用层次化方法的分类任务。