通过 EEG 嵌入与引导扩散进行视觉解码与重建

基于摘要分析。研究针对利用 EEG 解码视觉内容并重建图像的问题，提出端到端零样本框架：以 Adaptive Thinking Mapper（ATM）将神经信号映射至与 CLIP 嵌入共享的子空间，再通过两阶段、多路径 EEG-to-image 生成策略结合高层语义与低层视觉线索。 核心机制：第一阶段将 EEG 嵌入与高层 CLIP 嵌入对齐，并由先验扩散模型将 EEG 嵌入细化为图像先验；同时从 EEG 解码模糊图像，以保留低层特征。第二阶段将高层 CLIP 嵌入、模糊图像及从 EEG 潜变量获得的 caption 共同输入预训练扩散模型。该设计的阅读重点在于不同条件信息如何共同约束生成结果；ATM 的具体结构、对齐目标、训练阶段安排及各路径的独立贡献尚未验证。 作者报告，该框架在视觉分类、检索和重建任务上达到 SOTA，并在 MEG 数据模态上展示了适用性。摘要还说明研究分析了不同时间窗与脑区对解码和重建的影响，但未提供具体结论。由于材料未列出数据集、被试数量、指标、比较基线或划分方式，目前不能量化性能优势，也不能判断零样本具体指未见图像、未见类别还是其他评估条件，更不能据此认定具备跨被试或跨数据集泛化能力。 复现核对重点包括：零样本协议与训练测试划分、预训练模型及 caption 路径所依赖的监督信息、模糊图像与语义条件的消融，以及重建指标如何区分视觉相似度和语义一致性。摘要提供了代码仓库地址，但代码可运行性、预训练权重、数据获取条件及统计信息尚未验证。视觉刺激解码与图像重建结果也不直接等同于在线 BCI 系统的有效性。