NeuroBind: Towards Unified Multimodal Representations for Neural Signals

理解神经活动和信息表示对于推进对大脑功能和认知的认识至关重要。通过电生理学和神经影像等技术测量的神经活动反映了信息处理的各个方面。深度神经网络的最新进展提供了使用预训练模型分析这些信号的新方法。然而，由于不同神经信号模态之间的差异以及高质量神经数据的有限规模，会出现挑战。为了解决这些挑战，我们提出了NeuroBind，这是一种通用表示，统一了多种脑信号类型，包括EEG、fMRI、钙成像和尖峰数据。为了实现这一点，我们将这些图像对应的神经数据集中的神经信号与预训练的视觉语言嵌入对齐。NeuroBind是第一个研究不同神经模态之间相互连接的模型，并能够利用高资源模态模型进行各种神经科学任务。我们还展示了通过结合不同神经信号模态的信息，NeuroBind增强了下游性能，证明了不同神经模态的互补优势的有效性。因此，我们可以利用映射到相同空间的多种类型的神经信号来提高下游任务的性能，并展示不同神经模态的互补优势。这种方法对于推进神经科学研究、改进人工智能系统以及开发神经假肢和脑-计算机接口具有重要潜力。

NeuroBind试图解决的问题是如何将不同类型的神经信号数据统一表示，并且如何利用这些数据来提高神经科学研究、人工智能系统和神经假肢等领域的性能。

NeuroBind的关键思路是将不同类型的神经信号数据映射到预训练的视觉-语言嵌入空间中，这样就可以将不同类型的神经信号数据统一表示。此外，NeuroBind还展示了通过结合不同神经信号模态的信息可以提高下游任务的性能。

论文使用了多种神经信号数据集，包括EEG、fMRI、钙成像和尖峰数据，并展示了NeuroBind的优越性能。此外，论文还开源了NeuroBind的代码，并提供了预训练模型和数据集，以便其他研究人员使用。该方法可以促进神经科学研究和人工智能系统的发展。

最近在这个领域中，还有一些相关的研究，例如《Multi-Modal Brain MRI Segmentation Using Convolutional Neural Networks》、《Deep Learning for Multi-modal Imaging-Guided Survival Time Prediction of Brain Tumor Patients》等。