深层模型,浅层对齐:揭示神经解码中的粒度失配
Deep Models, Shallow Alignment: Uncovering the Granularity Mismatch in Neural Decoding
神经视觉解码旨在从神经信号中解码人类视觉感知;本研究针对预训练视觉编码器最终嵌入与 EEG/MEG 多层次视觉信息之间可能存在的表征粒度失配,提出 Shallow Alignment,以中间层视觉表征作为对齐目标。基于摘要分析,未取得论文全文。 核心机制是校准对齐目标的抽象层次:常见对比式神经视觉解码方法使用视觉编码器的最终嵌入,而这些嵌入侧重高层语义不变性,未必充分对应 EEG/MEG 中不同视觉抽象层次的信息。Shallow Alignment 系统探索中间视觉表征,主要改变的是神经信号与视觉模型之间的对齐目标,而不是仅以更大视觉骨干替换原模型。具体层选择规则、神经信号编码器、损失形式及训练与推理流程尚未验证。 作者报告,在多个基准、不同视觉骨干上,相较标准最终层对齐,性能提升范围为 22%–58%。摘要未说明这些提升对应的指标、相对增幅计算方式、基准名称或数据划分,因此不能将其解释为 Accuracy 提升了相应百分点,也不能据此比较被试内、跨被试或跨会话效果。作者还报告,采用该方法后,解码性能随预训练视觉骨干容量增加呈持续改善趋势;该结论的容量范围与适用条件需核对全文。 作者表示进行了系统性经验分析以解释收益机制,并提供了代码地址,但具体分析结论与代码可运行性尚未验证。复现时应重点核对中间层选择是否独立于测试评估、不同对齐目标的训练条件是否一致,以及收益对被试、信号模态和视觉骨干的依赖。实验协议、消融及统计信息尚未验证,现有摘要也不足以确认其对视觉重建质量或其他 BCI 任务的效果。
值得核对中间层视觉表征相较最终层表征的对齐收益,以及该收益是否在不同视觉骨干和 EEG/MEG 评估协议下保持稳定;摘要所述提升幅度与机制解释尚需全文验证。
来源:OpenReview · EEG · openreview.net