NeuroBridge:通过认知先验与双向语义对齐实现生物启发的自监督 EEG 到图像解码
NeuroBridge: Bio-Inspired Self-Supervised EEG-to-Image Decoding via Cognitive Priors and Bidirectional Semantic Alignment
基于摘要分析。NeuroBridge 针对视觉神经解码中高质量刺激—脑响应配对稀缺、EEG 表征与视觉内容语义不匹配的问题,提出结合 Cognitive Prior Augmentation(CPA)和 Shared Semantic Projector(SSP)的自监督架构,核心贡献是通过模态特定增强与双向协同适应促进 EEG—图像对齐。摘要给出的量化结果属于图像检索,不能据此认定其已实现图像重建。 机制上,CPA 对 EEG 和图像施加非对称、模态特定的变换,以模拟感知变异并增加语义多样性;SSP 则通过协同适应,将两种模态的特征相互对齐到共享语义空间。相较单向映射,其方法主张强调双向对齐,但具体增强操作、投影器结构、训练目标,以及自监督训练对刺激配对或其他监督信息的依赖尚未验证。 作者报告,NeuroBridge 在被试内和跨被试设置下均优于此前方法。在被试内的 200 类零样本检索任务中,top-1 Accuracy 为 63.2%,top-5 Accuracy 为 89.9%;摘要将对应提升分别表述为 12.3% 和 10.2%,未明确其为相对百分比还是百分点,也未列出对应基线,因此不作换算。跨被试结果没有提供具体数值。作者还报告了有效性、鲁棒性和可扩展性,但其评估条件尚未验证。 复现时应优先核对数据集、被试数量、训练与测试刺激及类别划分、零样本定义、被试内与跨被试协议和对照基线,并检查 CPA 是否保留刺激相关语义、SSP 的双向适应如何实现,以及两模块的独立贡献。实验协议、消融及统计信息尚未验证;代码、计算资源与复现条件也无法由当前摘要确认。
值得核对 Cognitive Prior Augmentation 与双向语义对齐如何缓解 EEG—图像配对稀缺和模态语义差异;作者报告了被试内检索提升,但增强的语义保持性、零样本划分及跨被试效果尚需全文验证。
来源:OpenReview · EEG · openreview.net