R&B -- Rhythm and Brain: Cross-subject Decoding of Music from Human Brain Activity

本研究探讨了音乐是否可以从人类大脑活动的功能性磁共振成像（fMRI）中解码。通过利用最近的大规模数据集和预训练的计算模型，我们构建了神经数据和音乐刺激的潜在表示之间的映射。本研究整合了功能和解剖对齐技术，以促进跨受试者的解码，并解决了fMRI数据中低时间分辨率和信噪比的挑战。从GTZan fMRI数据集开始，我们使用CLAP模型提取音乐刺激的潜在表示，并开发了基于体素的编码模型来识别对这些刺激有反应的大脑区域。通过对预测和实际脑活动之间的关联应用阈值，我们确定了特定的感兴趣区域（ROIs），这些区域可以解释为音乐处理的关键因素。我们的解码流程主要是基于检索的，采用线性映射将脑活动投影到相应的CLAP特征。这使我们能够预测和检索与产生fMRI数据的音乐刺激最相似的音乐。我们的结果表明，我们的方法显著优于现有方法，具有最先进的识别准确性。我们的发现表明，基于神经的音乐检索系统可以实现个性化推荐和治疗应用。未来的工作可以利用更高时间分辨率的神经影像和生成模型来提高解码准确性，并探索音乐知觉和情感的神经基础。

本论文尝试通过fMRI数据分析来解决音乐感知的神经基础问题，验证音乐是否可以从人类大脑活动中解码出来。

本论文通过将CLAP模型提取的音乐特征与fMRI数据进行对齐，建立了神经数据和音乐特征之间的映射，并使用线性映射将fMRI数据投影到对应的CLAP特征上，实现了音乐的神经检索。

本论文使用了GTZan fMRI数据集，应用了CLAP模型提取音乐特征，并开发了基于体素的编码模型来识别响应这些音乐特征的大脑区域。通过阈值筛选，确定了与音乐处理密切相关的特定感兴趣区域（ROIs）。实验结果表明，本论文的方法明显优于现有的方法，具有良好的识别准确性。未来可以使用更高时间分辨率的神经影像和生成模型来提高解码准确性，并探索音乐感知和情感的神经基础。

最近的相关研究包括：1.使用fMRI数据和机器学习技术来解码音乐的情感维度；2.使用神经影像学来研究音乐的神经基础；3.使用深度学习模型来预测音乐的流行度和喜好度。