跳到正文
OpenReview · EEG·· 2026-09-05精选AI 评分72

通过自适应时间重校准学习脑对齐视觉表征,用于基于 EEG 的视觉解码

Learning Brain-Aligned Visual Representation with Adaptive Temporal Recalibration for EEG-Based Visual Decoding

AI 导读

基于摘要分析。该研究针对 EEG 视觉解码中机器视觉表征与人类感知不匹配,以及可解码视觉信息在时间上稀疏的问题,提出 BEAT(Brain-aligned visual Encoder with Adaptive Temporal recalibration),联合学习脑对齐视觉表征并自适应调整 EEG 时间信息的利用。 表征学习方面,BEAT 采用双重对齐策略,将多教师视觉蒸馏与跨模态对比学习结合,用于引导视觉编码器学习兼具语义意义和神经对齐特性的表征。相较于摘要所述的“将 EEG 对齐至冻结预训练视觉嵌入”范式,其关键区别是视觉侧表征也参与适配。摘要未给出教师模型、蒸馏目标、对比学习样本构造或各项损失的具体形式。 时间建模方面,自适应时间重校准模块通过时间上下文化,增强包含视觉信息的信号区间并抑制噪声区间,以应对统一处理各时间段的局限。作者将该模块描述为轻量、可插拔且可用于不同骨干网络;具体结构、计算开销和跨骨干适用性尚未验证。 作者报告,在其零样本脑到图像检索实验中达到当前最佳表现,并称图像重建结果进一步支持所学表征的有效性。但摘要未提供数据集、被试数量、候选图像规模、零样本划分、检索指标、对照方法或具体数值,也未说明属于被试内、跨被试或跨会话评估,因此不能据此认定跨被试泛化或实际 BCI 应用性能。 复现时应重点核对视觉编码器的训练与冻结设置、多教师蒸馏和跨模态对齐的各自贡献、时间重校准的独立增益,以及零样本训练与测试类别的划分。实验协议、消融及统计信息尚未验证,代码、数据可用性与复现条件也需查阅全文确认。

阅读价值

值得关注的是 BEAT 同时调整视觉表征与 EEG 时间信息选择,而非仅对齐冻结视觉嵌入;其双重对齐策略及可插拔时间重校准模块具有可核对的复现价值,但零样本优势及适用范围尚需全文验证。

来源:OpenReview · EEG · openreview.net