用于 EEG 视觉解码的样本自适应专家路由
Sample-Adaptive Expert Routing for EEG Visual Decoding
基于摘要分析。该研究面向 EEG 视觉解码,研究如何依据每个 EEG 样本构造更合适的图像表征对齐目标,提出样本自适应专家路由方法,以替代所有样本共享固定图像模糊程度和表征深度的设置。 研究动机是:皮层响应偏向粗粒度、低空间频率的视觉内容,因此已有方法使用模糊图像与 EEG 对齐;但不同被试、刺激和样本的 EEG 响应存在差异,适宜的模糊程度与抽象层级可能并不相同。该方法基于 mixture-of-experts,由 EEG embedding 条件化的动态路由器逐样本选择视觉表征的模糊程度、编码器层和 backbone,组合对齐目标。摘要还描述了两项辅助目标:分别使各专家锚定于自身视觉内容,以及利用 EEG 与各专家之间的相似度监督路由器。具体损失形式、专家配置及路由组合方式尚未验证。 作者报告,在两个 benchmark 的 zero-shot retrieval 评估中,该方法取得 state-of-the-art 表现;作者报告的消融结果表明,条件路由和两项辅助目标均对性能提升有贡献。摘要未提供 benchmark 名称、被试数、检索候选集、数据划分、对照方法或指标数值,因此不能确定结论适用于被试内、跨被试或跨会话协议,也不能据此量化提升幅度。 复现时需核对视觉编码器及预训练条件、模糊候选设置、EEG 编码方式、路由监督的计算过程,以及训练与 zero-shot retrieval 的具体定义。实验协议、消融及统计信息尚未验证;尤其需结合完整结果判断收益能否在不同被试与刺激条件下保持稳定。该研究直接针对 EEG 与视觉表征的对齐,但摘要中的检索结果不等同于在线 BCI 有效性的验证。
值得核对其按 EEG 样本动态选择视觉对齐目标的机制,以及条件路由和两项辅助目标的消融证据;摘要中的性能优势尚需结合完整检索协议验证。
来源:OpenReview · EEG · openreview.net