跳到正文
arXiv · EEG 基础模型· Ye Wang; Haokun Ren; Hong Yu; Ruirui Li; Xiao Li; Ke Liu; Wei Wu·· 28 天前精选AI 评分78

视觉目标的重要性:跨视觉层级学习的脑到图像检索

The Visual Target Matters: Learning across the Visual Hierarchy for Brain-to-Image Retrieval

AI 导读

基于摘要分析。本文研究脑到图像检索,即根据非侵入式神经响应识别引发该响应的视觉刺激,核心问题是视觉模型的哪些深度应为神经编码器提供监督目标。作者提出 NeuroGlyph,从冻结视觉骨干的多个深度学习视觉目标,而非预先指定最终层表示。 机制上,NeuroGlyph 将目标分解为多个因子特定子空间,每个子空间依据图像学习不同视觉深度的信息分配,再融合为单一检索嵌入。摘要将该视觉目标描述为不依赖单次试验(trial-independent),而深度分配由图像条件决定;这不同于直接按每次神经响应动态选择视觉层。其主要创新落在视觉监督目标的构造,而非摘要未明确描述的神经编码器结构。 作者报告,在 THINGS-EEG 与 THINGS-MEG 上,NeuroGlyph 在所有受控比较中均优于最终层监督,并在四项比较中的三项超过事后选出的最佳固定层参照。作者还报告,参数量匹配消融支持因子化目标构造与图像条件深度分配的作用;在可比的 200-way 检索协议下,系统级表现于八项报告指标中的六项最优。这些结论应限定于文中比较条件,不能直接解释为任意跨被试或跨数据集场景的优势。 复现时需核对视觉骨干及所选深度、子空间与融合实现、神经编码器、训练目标、候选图像构造,以及数据划分和固定层参照的选择方式。摘要未提供具体指标名称与数值、被试规模、被试内或跨被试设置、统计不确定性及代码信息;实验协议、消融及统计信息尚未验证。现有证据支持进一步考察视觉层级监督的作用,但不足以推断其对其他 EEG 任务或 EEG 基础模型的普遍收益。

阅读价值

值得核对其视觉监督目标构造及参数量匹配消融:作者报告,跨视觉深度学习目标优于固定末层监督,但具体评估划分与统计可靠性尚未验证。

来源:arXiv · EEG 基础模型 · arxiv.org