跳到正文
OpenReview · EEG· Minxu Liu; Chuhang Zheng; Donghai Guan·· 2025-09-16精选AI 评分74

VISTA:用于脑解码的视觉—语义解耦与动态时空异步性

VISTA: Visual-Semantic Disentanglement and Dynamic Spatial-Temporal Asynchrony for Brain Decoding

AI 导读

基于摘要分析。VISTA 面向 EEG 视觉解码,针对细粒度视觉表征与高层语义概念在激活时间和空间拓扑上的异步性,提出分离视觉与语义表征并分别对齐预训练表征空间的框架,目标是改善零样本对象识别。 时间建模方面,方法将 EEG 划分为不重叠的时间片段,通过注意力为各片段分配软权重,以表征视觉与语义激活不同的时间分布。空间建模方面,方法学习模态特定的脑拓扑连接,并结合低秩分解与归一化拉普拉斯谱分解构建空间表征。得到的视觉、语义嵌入分别与 CLIP 的图像空间和文本空间对齐。摘要未提供对齐损失、拓扑学习约束及训练流程的具体形式。 作者报告,在 THINGS-EEG 的零样本对象识别评估中,VISTA 优于此前的 EEG 方法;在 THINGS-MEG 上也取得相近的性能增益,作者据此认为该框架具有超出 EEG 的跨模态适用性。摘要未给出具体指标、增益数值、对照方法、被试规模或数据划分,因此不能判断这些结果属于被试内还是跨被试设置,也不能将 MEG 结果理解为无需重新训练的 EEG→MEG 迁移。 复现时值得核对时间加权、模态特定拓扑、低秩与谱分解及双空间对齐各自的贡献,并确认零样本类别划分、CLIP 表征的使用方式和统计可靠性;实验协议、消融及统计信息尚未验证。作者表示代码与预训练模型将公开,当前材料不足以确认其已可获取。

阅读价值

值得核对 VISTA 如何以时间软加权和模态特定空间拓扑分离视觉与语义表征,以及这些机制对零样本对象识别的独立贡献;摘要报告了 EEG 与 MEG 上的效果,但具体协议与消融尚未验证。

来源:OpenReview · EEG · openreview.net