从脑活动重建视觉刺激的联合学习：基于 EEG-Vision Transformer 的图像感知层级表征

基于摘要分析。该研究针对 EEG 噪声较高、空间分辨率较低条件下的视觉刺激重建问题，提出 Hierarchical-ViT 框架，将分层视觉特征提取、EEG-ViT 信号处理和基于 CLIP 的联合学习结合，再利用 StyleGAN 生成图像。 核心机制是借鉴人类视觉系统的层级处理方式，通过多阶段处理逐步捕获边缘、纹理、形状等视觉特征，并与 EEG-ViT 提取的 EEG 表征对齐，构建用于对比学习的共享潜在空间。StyleGAN 随后依据对齐表征生成高分辨率图像。摘要未给出具体层级构造、EEG 输入组织、CLIP 的使用方式、损失形式及各模块训练或冻结策略，这些实现细节尚未验证。 作者报告，在 EEGCVPR40 和 ThoughtViz 两个基准数据集上，该方法相较已有方法取得更好的生成质量指标：EEGCVPR 上评估 IS、KID、FID，ThoughtViz 上评估 IS、KID。摘要在数据集介绍与结果描述中分别使用 EEGCVPR40 和 EEGCVPR，二者的具体对应关系需核对全文。摘要未提供指标数值、对照方法、数据划分，以及被试内、跨被试或跨会话协议，因此不能据此判断提升幅度或跨被试泛化能力。 作者报告，消融研究支持分层特征提取的可行性，MANOVA 分析支持所学特征空间具有区分性；这些结果尚不足以单独说明图像重建的语义准确性或 EEG 信息的独立贡献。复现时需核对 EEG 预处理、刺激与信号配对、训练测试划分、生成器训练数据和预训练设置，并结合消融及统计结果评估层级视觉表征的实际作用。实验协议、消融及统计信息尚未验证。