超越层次化对齐:蒸馏教师多样性以实现脑视觉解码
Beyond Hierarchical Alignment: Distilling Teacher Diversity for Brain Visual Decoding
基于摘要分析。该研究针对脑视觉解码中“强视觉表征未必适合由有限、含噪脑信号预测”的问题,提出 BHA(Beyond Hierarchical Alignment),结合共享脑—视觉对齐与不同教师视觉空间中的独立预测,避免仅依赖融合表征所定义的单一相似性几何。 机制上,BHA 联合学习脑编码器与融合视觉目标,使视觉监督能够适应脑信号;随后在冻结的骨干网络上,通过教师特异的 Group Mixture-of-Experts(MoE)读出模块学习各视觉空间的独立预测。可学习门控与查询依赖加权将这些预测的匹配分数与共享分数组合,用于视觉检索。重建任务则使用单独训练的语义与空间适配器复用同一骨干,无需微调预训练生成器。其关键区别在于不将多教师信息完全压缩到一个融合空间,并将检索匹配与生成器条件适配分别处理。 作者报告,BHA 改善了 EEG 和 MEG 的被试内检索表现,且收益在减少 EEG 训练数据时仍然存在。摘要未提供数据集、被试数、具体划分、对照方法、指标及提升幅度,因此不能据此判断跨被试泛化或量化低数据优势。摘要描述了重建路径,但未给出重建效果的定量结果。 表征分析方面,作者报告不同专家可对同一图像区域赋予方向相反的贡献,学习到的模型神经元呈现语义选择性;作者据此认为,共享对齐仍可保留可组合的不同视觉匹配功能。这些结果涉及模型表征,不应解释为生物神经元机制的证据。教师模型身份、损失形式、训练阶段细节、实验协议、消融及统计信息尚未验证;代码与复现配置也无法由所给材料确认。
值得关注其将共享脑—视觉对齐与教师特异的视觉匹配分开建模的机制;作者报告的 EEG、MEG 被试内检索改善及低数据条件下的收益,为检验多教师视觉监督的互补性提供了具体切入点,但效应大小与实验协议尚未验证。
来源:OpenReview · EEG · openreview.net