跳到正文
arXiv · EEG DA / DG / TTA· Salini Yadav; Taveena Lotey; Mickaël Coustaty; Pravendra Singh; Partha Pratim Roy·· 20 天前精选AI 评分77

用于跨被试 EEG-to-image 检索的结构化视觉目标学习

Structured Visual Target Learning For Cross-Subject eeg-to-image retrieval

AI 导读

基于摘要分析。该研究针对跨被试 EEG-to-image 检索中源被试训练得到的 EEG 表征难以与未见被试的视觉嵌入空间保持对齐的问题,从视觉目标端提出结构化目标学习,并结合部署阶段无需训练的表征细化。 方法保留 Perception Encoder 的空间信息,将其 patch 网格转换为一组紧凑的可学习视觉视图,再通过具有块结构、依赖内容的路由器,为每张图像聚合视觉目标。视觉目标与 EEG 编码器通过对比学习联合优化,同时使用 MMD 正则化约束源被试之间的差异。相较主要调整 EEG 端的方法,其研究重点是视觉目标的构造及其与 EEG 表征的共同学习;路由器具体结构、MMD 的施加位置及损失权重尚未验证。 作者报告,在 THINGS-EEG2 的留一被试评估中,结构化目标方法的 Top-1/Top-5 Accuracy 为 35.3%/65.6%,优于所比较的方法。部署阶段的表征细化在不更新任一编码器的条件下对齐冻结嵌入,作者报告细化后达到 48.1%/77.1%,且全部十名留出被试均有改善。摘要另称,相对最强对照方法的 Top-1 增益为 18.5%,但未明确该数值指相对百分比还是百分点,不宜直接换算。 复现与解释结果时,需要核对检索候选集规模、图像及试次划分、对照方法设置,以及表征细化在部署时使用哪些数据、是否需要批量目标被试样本。摘要不足以判断其是否适用于逐试次在线检索,也不能据此认定表征细化等同于参数更新式测试时自适应。实验协议、消融及统计信息尚未验证。

阅读价值

值得关注其通过结构化视觉目标而非仅改造 EEG 编码器改善跨被试检索的机制,以及冻结编码器后的表征细化;具体增益仍需结合候选集、对照方法和部署数据使用协议核验。

来源:arXiv · EEG DA / DG / TTA · arxiv.org