跳到正文
OpenReview · EEG·· 2026-09-18精选AI 评分72

Shadow Brain:用于视觉神经信号解码的仿生学习

Shadow Brain: Biomimetic Learning for Decoding Visual Neural Signals

AI 导读

基于摘要分析。研究针对视觉信息与 EEG 响应之间因个体差异及低信噪比而难以准确对齐的问题,提出仿生视觉–EEG 学习框架 Shadow Brain,将生物视觉通路的信息处理原则引入个体化视觉–神经表征对齐。 视觉分支借鉴从视网膜感光、信号处理到神经节细胞输出的功能序列,在五种视觉条件下构建特征表示,再通过被试特定的可学习权重进行选择性融合;同一被试的不同刺激共享这些权重。摘要未具体说明五种视觉条件的定义。EEG 分支采用 NeuroWeft 统一模块,联合建模多通道 EEG 的空间关系与时间结构。视觉融合模块、NeuroWeft 与跨模态投影器通过对比学习,在共享语义空间中联合优化,使视觉信息整合适配个体 EEG 信号。 作者报告,在 THINGS-EEG 的十名被试上,使用试次平均 EEG 进行被试内(Within-subject)200 选一图像检索,平均 Top-1 Accuracy 为 68.4%,Top-5 Accuracy 为 90.9%。这些数值对应图像检索而非一般分类,也不代表单试次、跨被试或跨会话性能;摘要未提供对照方法的结果,尚不能据此量化相对提升。 方法的阅读重点在于:个体化适配不仅作用于 EEG 编码,还通过被试特定权重改变视觉表征的融合方式。其生物学启发是否带来独立收益,以及视觉融合、NeuroWeft 与跨模态投影各自的贡献,仍需结合全文核对。具体数据划分、试次平均规则、视觉特征来源、损失形式、消融及统计信息尚未验证,代码与复现条件也尚未验证。

阅读价值

值得关注其通过被试特定的视觉条件融合与 EEG 时空联合建模实现个体化跨模态对齐的机制,但所报检索效果基于被试内、试次平均 EEG,不能直接外推至单试次或跨被试解码。

来源:OpenReview · EEG · openreview.net