Naturalistic Music Decoding from EEG Data via Latent Diffusion Models

在本文中，我们探讨了使用潜在扩散模型这一强大的生成模型家族，将其用于从脑电图（EEG）记录中重构自然音乐的潜力。与仅具有有限音色的简单音乐（例如MIDI生成的曲调或单音乐曲）不同，这里的重点是复杂的音乐，其中包含多种乐器、声音和效果，富有和声和音色。本研究是使用非侵入性EEG数据实现高质量通用音乐重建的初步尝试，采用端到端的训练方法，直接在原始数据上进行训练，无需手动预处理和通道选择。我们在公共NMED-T数据集上训练模型，并提出了基于神经嵌入的量化评估指标。我们还根据生成的曲目进行了歌曲分类。我们的工作为神经解码和脑机接口的持续研究做出了贡献，为使用EEG数据进行复杂听觉信息重建的可行性提供了见解。

本论文旨在探讨使用潜在扩散模型从脑电图（EEG）记录中重建自然音乐的潜力。这项研究是为了实现使用EEG数据进行复杂音频信息重建的初步尝试。

本文采用端到端的训练方法，直接在原始数据上进行训练，无需手动预处理和通道选择。同时，提出了基于神经嵌入的度量方法进行定量评估，并进行了基于生成曲目的歌曲分类。

本文的亮点在于使用非侵入性的EEG数据进行复杂音乐的重建，并且采用了端到端的训练方法，避免了繁琐的预处理过程。实验使用了公共数据集NMED-T，并提出了基于神经嵌入的度量方法进行评估。此外，还进行了基于生成曲目的歌曲分类。该研究为神经解码和脑机接口领域的研究提供了新的思路和见解。

在这个领域中，最近的相关研究包括：1. 'Deep Learning-based Brain-Computer Interface for Music Performance: A Review'；2. 'Decoding of Covert Vowel Articulation Using Electroencephalography Cortical Current Source Localization'；3. 'Musical genre classification of audio signals using deep neural networks with transfer learning'。