跳到正文
OpenReview · EEG· Yayun Wei; Lei Cao; Hao Li; Yilin Dong·· 2024-07-21精选AI 评分72

MB2C:用于学习鲁棒视觉神经表征的多模态双向循环一致性

MB2C: Multimodal Bidirectional Cycle Consistency for Learning Robust Visual Neural Representations

AI 导读

MB2C 研究如何从脑活动中解码视觉表征,重点应对 EEG 中语义相近视觉刺激难以区分及跨模态表征难以对齐的问题。作者提出多模态双向循环一致性框架,通过 dual-GAN 生成模态相关特征并反向映射至对应语义潜在空间,以缩小模态差异。以下基于摘要分析,未取得论文全文。 机制与创新:作者指出,现有方法主要通过对比学习匹配脑活动与对应刺激,依赖大量高质量配对数据,并可能使语义一致的不同模态表征分布在潜在空间的不同区域。MB2C 的核心路径是跨模态特征生成与反向语义映射形成循环,目标是让不同模态中语义相似的嵌入落在相近的表征区域。摘要未提供 dual-GAN 的具体组成、循环一致性损失、其他训练目标或推理流程,因此不能据此认定其已降低配对数据需求,或保证所有语义相近样本都能成功对齐。 评估与结果:作者在 ThingsEEG 上开展零样本任务,并在 ThingsEEG 与 EEGCVPR40 上开展 EEG 分类和图像重建。作者报告,相较其他基线取得领先性能,但摘要未列出任务对应指标、具体数值、基线名称、零样本类别划分,以及被试内或跨被试评估背景,暂无法判断增益幅度或不同任务间的可比性。 验证与复现:值得重点核对循环一致性及 dual-GAN 各自的贡献、语义相近类别上的对齐效果,以及分类与图像重建使用的输入和监督条件。被试规模、数据划分、预处理、训练配置、实验协议、消融及统计信息尚未验证;代码与模型权重的可用性也尚未验证。该工作直接涉及 EEG 视觉解码,但摘要结果不能进一步外推为在线 BCI 性能或跨被试泛化能力。

阅读价值

值得核对 MB2C 的双向循环一致性是否能改善 EEG 与图像语义表征的跨模态对齐,尤其是其相对对比学习基线的增益;摘要所称领先性能仍需结合评估协议与消融验证。

来源:OpenReview · EEG · openreview.net