从 EEG 脑记录中学习鲁棒的深度视觉表征
Learning Robust Deep Visual Representations from EEG Brain Recordings
基于摘要分析。该研究面向从 EEG 解码视觉信息的问题,提出两阶段方法:先从 EEG 提取特征、学习鲁棒的深度视觉表征,再将所得表征用于图像生成和分类。其贡献包括对特征提取流程泛化能力的评估,以及将未见图像映射至 EEG 空间并近似重建的框架。 方法方面,摘要提及使用深度学习架构,分别结合监督学习与对比学习,在三个数据集上验证特征提取流程,并开展零样本 EEG 分类。具体网络结构、对比学习目标、两阶段训练衔接及零样本任务的类别划分尚未验证;多个数据集上的评估也不能直接视为 Cross-dataset 迁移实验。 作者报告,仅用 EEG 的单模态学习获得了被试不变、线性可分的视觉表征,其 k-means Accuracy 优于 EEG 与图像的联合表征学习。该结论的被试划分、线性可分性检验、聚类标签匹配方式和比较数值未在摘要中展开,是否采用严格 Cross-subject 评估尚未验证。 图像生成方面,作者报告其 EEG 图像合成方法在 EEGCVPR40 和 Thoughtviz 上的 Inception Score 分别提升 62.9% 和 36.13%,并声称优于 GAN 相关的现有最佳表现。这些数字为相对提升而非百分点;具体对照方法、原始分数、数据划分及统计信息尚未验证。摘要所述“未见图像映射至 EEG 空间再重建”还需与实际 EEG 输入的图像重建协议区分,不能仅凭摘要确认其对未见视觉类别的脑信号解码能力。 复现时应优先核对 EEG 预处理、被试与刺激划分、监督信息的使用、单模态与联合学习的对照条件,以及生成指标的计算协议。全文、实验消融及代码可用性尚未验证。
值得核对其仅用 EEG 学习视觉表征与 EEG—图像联合表征的对照,以及零样本分类和图像生成的评估协议,以判断表征可分性与跨被试泛化是否同时成立。
来源:OpenReview · EEG · openreview.net