跳到正文
OpenReview · EEG· Minxu Liu; Donghai Guan; Chuhang Zheng; Chunwei Tian; Jie Wen; Qi Zhu·· 2026-05-01精选AI 评分72

ViEEG:用于 EEG 脑解码的层级视觉神经表征

ViEEG: Hierarchical Visual Neural Representation for EEG Brain Decoding

AI 导读

基于摘要分析。该研究面向由 EEG 解码视觉刺激的问题,提出 ViEEG,以层级视觉表征替代平坦表征,并通过 EEG-CLIP 对齐支持零样本对象识别。作者将现有方法未充分建模层级视觉加工的问题称为 Hierarchical Neural Encoding Neglect(HNEN),并以视觉皮层的层级组织为设计启发。 核心机制是将每个视觉刺激分解为轮廓、前景对象和上下文场景三个组成部分,作为三流 EEG 编码器的表征锚点;随后通过交叉注意力路由逐步整合 EEG 特征,模拟从低层到高层的视觉信息流。模型进一步采用层级对比学习,实现 EEG 与 CLIP 表征对齐。这里的生物学对应是作者提出的设计依据,摘要不足以确认各分支是否实际对应特定皮层加工阶段。 作者报告,在 THINGS-EEG 上,ViEEG 在被试依赖和被试独立设置中均显著优于此前方法,但摘要未提供具体指标、数值、对照方法或数据划分,不能据此量化提升或比较不同协议。作者还报告 THINGS-MEG 上的结果支持该框架对不同神经信号模态的泛化;是否直接迁移、重新训练或采用其他适配方式尚未验证,不能将其直接视为 EEG 到 MEG 的零样本迁移证据。 复现时值得核对视觉组成部分的生成方式、各层级监督与 CLIP 特征的对应关系、对比学习损失及负样本构造,以及分层锚点和交叉注意力路由相对平坦表征的独立贡献。还需确认零样本识别的类别划分、训练与测试刺激关系,以及被试独立评估的具体设置。作者提供了代码链接,但代码内容与可运行性尚未验证;实验协议、消融及统计信息尚未验证。

阅读价值

值得核对其轮廓、前景对象与上下文场景分层对齐是否确实优于平坦表征,尤其是跨被试零样本识别中的贡献;摘要所述性能提升及跨模态泛化尚需全文实验协议与消融验证。

来源:OpenReview · EEG · openreview.net