CognitionCapturer：利用多模态信息从人类 EEG 信号解码视觉刺激

基于摘要分析。该研究针对视觉刺激解码中过度依赖 EEG–图像配对、未充分利用图像模态之外信息的问题，提出 CognitionCapturer，以多模态信息学习 EEG 表征，并结合预训练生成模型重建视觉刺激。 核心机制是为各模态训练 Modality Expert Encoders，从 EEG 中提取跨模态信息；随后引入 diffusion prior，将 EEG 嵌入空间映射到 CLIP 嵌入空间，再利用预训练生成模型完成视觉重建。摘要明确表示生成模型无需微调，并称框架可扩展至更多模态；这不等于整个框架无需训练。摘要未列出具体模态组合、编码器结构、损失函数，以及 diffusion prior 的训练和推理设置，这些细节尚未验证。 相较仅建模 EEG–图像关系的路线，其主要方法主张是利用多模态监督丰富 EEG 表征，并通过 CLIP 空间衔接生成模型。作者报告重建具有较高语义与结构保真度，且在定性与定量评估中优于当前先进方法；但摘要未提供数据集、被试数量、被试内或跨被试划分、指标数值及对照基线，因此尚不能判断优势适用的评估范围，也不能据此确认跨被试或跨数据集泛化能力。 复现时可优先核对不同模态监督的来源、各模态编码器与 diffusion prior 的贡献，以及重建评价如何分别衡量语义一致性和结构保真度。摘要提供了代码仓库，但代码可用性、依赖、预训练组件和运行条件尚未验证；实验协议、消融及统计信息尚未验证。该工作直接面向 EEG 视觉刺激解码，其结果不应外推为其他 BCI 任务的有效性证据。