Practical End-to-End Optical Music Recognition for Pianoform Music

目前光学乐谱识别（OMR）领域的大部分进展都是通过深度学习方法实现的，尤其是采用端到端模型的方法，读取输入图像并生成线性令牌序列。然而，许多乐谱，特别是钢琴乐谱，无法轻易地转换成线性序列。这导致OMR研究人员使用自定义的线性编码，而不是广泛接受的音乐符号结构化格式。它们的多样性使得直接比较OMR系统的性能变得困难。为了使最近OMR模型的进展更加接近有用的结果：（a）我们定义了一种称为线性化MusicXML的顺序格式，可以直接训练端到端模型，并保持与行业标准MusicXML格式的密切联系和兼容性。 （b）我们创建了一个基于OpenScore Lieder语料库的基准测试集，用于基于MusicXML基础事实的排版OMR。它们包含1,438个和1,493个钢琴系统，每个系统都有来自IMSLP的图像。（c）我们训练和微调了一个端到端模型，作为数据集的基线，并使用TEDn指标评估了模型。我们还在最近发布的合成钢琴形态数据集GrandStaff上测试了我们的模型，并超越了最先进的结果。

解决问题：论文试图解决如何将Optical Music Recognition（OMR）中的深度学习方法应用于不易转换为线性序列的音乐乐谱，以提高OMR系统的性能。

关键思路：论文提出了一种名为Linearized MusicXML的顺序格式，允许直接训练端到端模型，并与工业标准MusicXML格式保持紧密的协作和兼容性。同时，使用OpenScore Lieder语料库创建了基准测试集，使用TEDn度量评估模型性能，并在GrandStaff数据集上测试模型。

其他亮点：论文的实验设计合理，使用了开源数据集和基准测试集，提出了一种新的音乐乐谱格式Linearized MusicXML，并成功训练了一个端到端模型，超过了最新的合成数据集GrandStaff的最新结果。这些工作对于OMR系统的进一步研究具有重要的启示意义。

相关研究：最近的相关研究包括：“Optical Music Recognition Using Deep Learning: A Review”，“End-to-End Neural Optical Music Recognition of Monophonic Scores”，“Deep Learning for Optical Music Recognition: A Review”等。