MR-MT3: Memory Retaining Multi-Track Music Transcription to Mitigate Instrument Leakage

本文介绍了对MT3模型的增强，MT3是一种基于标记的多乐器自动音乐转录（AMT）模型，具有最先进的性能。尽管MT3的性能很好，但存在乐器泄漏的问题，即转录分散在不同的乐器上。为了减轻这一问题，我们提出了MR-MT3，其中包括记忆保留机制、先前标记采样和标记洗牌等增强方法。这些方法在Slakh2100数据集上进行评估，展示了改进的起始F1分数和减少的乐器泄漏。除了传统的多乐器转录F1分数外，还引入了新的指标，如乐器泄漏比率和乐器检测F1分数，以更全面地评估转录质量。此外，本研究还探讨了领域过拟合的问题，通过在单乐器单声道数据集（如ComMU和NSynth）上评估MT3来验证。本文的研究结果以及源代码的共享，旨在促进未来的工作，以完善基于标记的多乐器AMT模型。

该论文旨在解决MT3模型中存在的乐器泄漏问题，即将乐曲转录到不同乐器上的问题。同时，还探讨了MT3在单乐器单声道数据集上的过拟合问题。

为了解决乐器泄漏问题，论文提出了MR-MT3模型，其中包括记忆保留机制、先前标记采样和标记洗牌等增强方法。此外，还引入了新的指标来评估转录质量。

论文使用Slakh2100数据集进行了实验，证明了MR-MT3模型在转录质量方面的改进。此外，还探讨了MT3模型在单乐器单声道数据集上的过拟合问题。论文提供了源代码以便未来的研究。

最近的相关研究包括“End-to-End Neural Polyphonic Music Transcription with Ensemble Learning”和“Multi-Instrument Music Transcription Using a Convolutional Neural Network with Multi-Task Learning”。