vNeuro:EEG 视觉模型的基础
vNeuro: Foundation for EEG Vision Models
基于摘要分析。该研究探讨自然视觉数据上学到的表征能否复用于 EEG,以减少从零预训练大型 EEG 专用模型的需求。vNeuro 通过轻量可训练接口,将多通道 EEG 时频表征转换为保留电极几何关系的视觉 token,适配冻结的视频预训练 V-JEPA 2.1 编码器。 机制上,接口在无标签 EEG 上通过潜在表征预测与分布正则化进行自监督训练,视觉主干始终固定;下游训练只优化适配器和分类头。其核心区别在于复用预训练视觉主干,而非从头学习 EEG 主干。时频变换、token 映射、预测目标和正则化的具体形式,以及接口规模与训练数据量,摘要未提供,尚未验证。 作者报告:采用 ViT-B 主干时,vNeuro 在 TUAB 异常检测上的 Balanced Accuracy 为 81.40%,在 TUEV 事件分类上为 68.35%;采用 ViT-G 时,TUEV 的 Balanced Accuracy 为 68.73%。摘要未说明被试内、跨被试或其他划分协议,因此这些结果不能直接与不同协议下的分数比较。作者称其表现可与使用数万小时 EEG 预训练的基础模型竞争,但具体对照模型、预处理与训练预算的可比性尚需核对。 作者报告消融和表征分析支持 EEG 到视觉 token 的映射及带正则化的自监督适配均对性能有贡献;具体效应幅度、实验协议与统计信息尚未验证。复现重点包括电极布局与通道处理、时频输入构造、V-JEPA 2.1 权重配置、适配训练语料及下游数据划分。平台推测(待验证):固定视觉主干可能减少需要更新的参数,但不能据此认定整体训练成本更低,或已具备跨被试、跨设备泛化能力。
值得核对其电极几何保持的视觉 token 映射与冻结 V-JEPA 2.1 的自监督适配机制;作者报告其在 TUAB、TUEV 上具有竞争力,但评估划分与计算成本尚需全文验证。
来源:OpenReview · EEG · openreview.net