PianoMotion10M: Dataset and Benchmark for Hand Motion Generation in Piano Performance

最近，教育中的人工智能技术受到了越来越多的关注，但是设计有效的音乐乐器教学系统仍然是一个未解决的问题。虽然按键可以直接从乐谱中导出，但是钢琴演奏中按键之间的过渡动作需要更广泛的指导。在这项工作中，我们构建了一个钢琴手部运动生成基准，以指导钢琴演奏的手部运动和指法。为此，我们收集了一个注释数据集PianoMotion10M，其中包括116小时的从鸟瞰角度拍摄的钢琴演奏视频，涵盖了1000万个注释的手部姿势。我们还介绍了一个强大的基线模型，通过位置预测器和位置引导手势生成器，从钢琴音频中生成手部运动。此外，设计了一系列评估指标来评估基线模型的性能，包括运动相似性、平滑度、左右手的位置精度以及运动分布的整体保真度。尽管钢琴按键相对于乐谱或音频已经是可访问的，但PianoMotion10M旨在为教学目的提供钢琴指法指导。该数据集和源代码可在https://agnjason.github.io/PianoMotion-page上访问。

构建一个钢琴手部运动生成基准，以指导钢琴演奏的手部运动和指法。尽管可以直接从乐谱中推导出按键，但是在钢琴演奏中，按键之间的过渡运动需要更广泛的指导。

通过一个位置预测器和一个位置引导手势生成器，从钢琴音频中生成手部运动。

收集了116小时的钢琴演奏视频，包含1000万个手部姿势注释的数据集PianoMotion10M。设计了一系列评估指标来评估基准模型的性能，包括运动相似性、平滑度、左右手的位置精度和运动分布的整体保真度。提供了开源数据集和源代码。

最近的相关研究包括：1.《钢琴演奏运动的数据驱动建模》；2.《基于深度学习的钢琴演奏运动生成》；3.《使用深度学习生成钢琴演奏的手部运动》等。