从 EEG 脑记录中学习鲁棒的深度视觉表征
基于摘要分析。该研究关注如何从 EEG 中学习可用于视觉图像分类与重建的鲁棒表征,提出两阶段方法:先提取 EEG 特征并学习深度表征,再将所学表征用于图像生成和分类。 在表征学习阶段,作者使用深度学习架构,结合监督学习与对比学习,在三个数据集上评估特征提取流程的泛化能力,并开展零样本 EEG 分类。摘要未给出具体网络结构、损失形式、三个数据集的完整名称及零样本类别划分,因此尚不能确定这些实验对应跨被试、跨会话还是跨数据集泛化。 作者报告,仅使用 EEG 的单模态学习能够获得被试不变、线性可分的视觉表征,其 k-means Accuracy 优于 EEG 与图像联合表征学习。该对照有助于考察图像模态是否必然改善 EEG 表征,但摘要未提供具体分数、被试划分、聚类评估方式及被试不变性的验证细节,结论仍需结合正文核对。 在生成阶段,作者提出将未见图像映射到 EEG 空间并进行近似重建的框架。作者报告,EEG 图像合成方法在 EEGCVPR40 和 Thoughtviz 上的 Inception Score 分别提升 62.9% 和 36.13%,并声称优于 GAN 相关的现有最佳表现;摘要未明确比较基线、数据划分与计算设置。这些数字是 Inception Score 的相对提升,而非分类 Accuracy 或百分点增益,也不能单独说明重建图像与原始刺激的一致性。 复现时应核对 EEG 预处理、视觉刺激与试次划分、监督及对比学习所用信息、零样本任务定义,以及生成阶段实际使用的输入。尤其需区分“将未见图像映射到 EEG 空间后重建”与“仅凭实测 EEG 重建未见刺激”两种评估情形。实验协议、消融及统计信息,以及代码和模型的可用性尚未验证。
阅读价值:值得核对其仅用 EEG 学习视觉表征与 EEG—图像联合表征的对照,以及零样本分类和未见图像重建的评估协议,以判断作者所称被试不变性与泛化能力的适用范围。