BioBridge:以生物学归纳偏置连接脑与视觉表征
BioBridge: Bridging Brain and Vision Representations with Biological Inductive Biases
基于摘要分析。BioBridge 针对 EEG 视觉神经解码中配对 EEG—图像数据稀缺,以及数字图像与生物视觉表征不匹配的问题,提出生物学引导的脑—视觉对齐框架,用于从 EEG 检索图像。核心思路是将视网膜拓扑组织、视觉皮层层级处理及被试间差异相关的归纳偏置引入表征学习。 框架包含三个环节:Adaptive Blur with Visual Priors 通过视网膜拓扑加权变换视觉输入,试图缩小数字刺激与生物感知之间的差异;Biomimetic Visual Feature Extraction 学习互补的多层级视觉表征,以模拟层级视觉处理并提高对被试差异的稳健性;Multi-Level Bidirectional Contrastive Learning 在共享嵌入空间中,以对称对比目标对齐不同语义层级的 EEG 与视觉表征。摘要未给出加权方式、视觉特征提取器、EEG 编码器及损失函数的具体实现,不能据此判断生物学先验的约束强度或计算成本。 作者报告,在零样本 EEG 到图像检索中,BioBridge 的 Top-1 Accuracy 为 80.5%,Top-5 Accuracy 为 97.6%,并报告优于既有方法、在跨被试及不同实验设置下具有较强泛化能力。但摘要未说明这些数值对应的数据集、被试划分、候选图像数量及对照基线,因此不能将其直接视为跨被试成绩,也不能据此与其他检索协议下的结果直接比较。 摘要提供了匿名代码地址,但代码内容及可运行性尚未验证。复现时需核对零样本的定义、训练与测试图像及类别的划分、被试内与跨被试协议,以及各生物学先验模块相对于通用视觉特征和对比学习基线的增益。实验协议、消融及统计信息尚未验证。
值得核对其将视网膜拓扑先验、多层视觉表征与双向对比学习结合的具体实现,以及零样本 EEG 到图像检索的候选集和跨被试评估协议;摘要结果尚不足以判断各模块的独立贡献。
来源:OpenReview · EEG · openreview.net