跳到正文
arXiv · EEG 基础模型· Junhan Wang; Kani Chen·· 2026-08-03精选AI 评分76

CORTIVA:融合互补视觉教师候选分数的 EEG 与 MEG 图像检索

CORTIVA: Candidate-Score Fusion of Complementary Visual Teachers for EEG- and MEG-to-Image Retrieval

AI 导读

基于摘要分析。研究面向从 EEG 和 MEG 神经响应中检索所观看图像的任务,提出 CORTIVA:保留不同视觉教师提供的互补信息,在候选图像分数层面融合,而非先将异质视觉监督整合为单一嵌入。任务是在固定候选库中识别目标图像,不是图像生成。 核心机制是让三条解码路线分别对齐异质视觉目标,对同一组索引候选独立评分,再融合经温度缩放的分数向量进行排序。作者认为,过早整合嵌入会使所有候选排序受同一种相似度几何约束,并丢失视觉编码器之间的差异;CORTIVA 将这些差异保留至最终排序阶段。摘要未提供视觉教师的完整配置、神经编码器结构、具体训练损失及温度设定。 作者报告,在涵盖十名参与者的 THINGS-EEG2 200 候选检索评估中,Top-1 为 73.5%,Top-5 为 95.3%,分别比所比较的最强已报告基线高 10.3 和 5.4 个百分点。摘要未说明这些结果的被试内或跨被试设置、数据划分及响应平均方式,不能据此判断跨被试泛化能力。作者另报告,采用模态专用神经编码器时,同一融合原则在 THINGS-MEG 上取得 42.4% Top-1;该结果的候选规模与划分协议尚未验证,不宜与 EEG 数值直接比较。 作者报告,匹配的路线移除重训练与四项权重对照支持收益来自互补路线分数的组合,且均匀加权下仍有收益,并不依赖特定加权规则。在独立 DINOv2 表征空间中的分析也呈现相同的局部错误邻域富集与后部脑区神经—视觉对应关系,但这些分析本身不构成因果机制证明。 复现时应重点核对候选库与训练测试刺激的关系、各路线的数据和训练预算是否匹配、温度与融合权重如何确定,以及被试级结果和统计不确定性。完整实验协议、消融细节及统计信息尚未验证。

阅读价值

值得核对其候选分数级融合相较嵌入级整合的收益,尤其是路线移除重训练与权重对照能否支持互补视觉监督的解释;跨被试适用性及完整评估协议尚未验证。

来源:arXiv · EEG 基础模型 · arxiv.org