DreamDiffusion: Generating High-Quality Images from Brain EEG Signals

Y Bai, X Wang, Y Cao, Y Ge, C Yuan, Y Shan
[Tsinghua Shenzhen International Graduate School & Tencent AI Lab]

DreamDiffusion: 利用脑电图信号生成高质量图像

  • 动机：介绍了DreamDiffusion，一种新的方法，可以直接从脑电图(EEG)信号生成高质量的图像，无需将思想转化为文本。DreamDiffusion利用预训练的文本到图像模型，采用时间掩码信号建模来预训EEG编码器，以实现有效和鲁棒的EEG表示。此外，该方法还进一步利用CLIP图像编码器提供额外的监督，以更好地对齐EEG、文本和图像嵌入，从而在有限的EEG-图像对中实现这一目标。
  • 方法：使用大量噪声EEG数据进行掩码信号建模，以训练EEG编码器以提取上下文知识。用预训练的Stable Diffusion模型进行微调，以便在有限的EEG-图像对上进行微调。使用CLIP编码器对EEG、文本和图像空间进行对齐。
  • 优势：DreamDiffusion能克服使用EEG信号进行图像生成的挑战，如噪声、信息有限和个体差异，并取得了有希望的结果。定量和定性结果证明了该方法的有效性，这是朝着便携式和低成本的“所想即所见”迈出的重要一步。


DreamDiffusion是一种新的方法，可以直接从脑电图(EEG)信号生成高质量图像，无需将思想转化为文本，这是朝着便携式和低成本的“所想即所见”迈出的重要一步。

内容中包含的图片若涉及版权问题，请及时与我们联系删除