通过改进视觉—EEG 语义一致性实现视觉神经解码

基于摘要分析。该研究关注从人类 EEG 中解码视觉体验，针对直接将 EEG 特征映射到 CLIP 嵌入空间可能引入映射偏差与语义不一致的问题，提出 Visual-EEG Semantic Decouple Framework，在联合语义空间中显式提取视觉与 EEG 的语义相关特征，以改善跨模态对齐及零样本视觉类别解码。 核心机制包括跨模态信息解耦模块，用于引导两种模态提取语义相关信息；以及对齐过程中的类内几何一致性策略，旨在将同类视觉样本映射为一致的神经模式。后者受神经科学中视觉物体理解机制启发，但摘要未提供其具体数学约束、损失形式或实现方式。相较于直接映射至 CLIP 空间的方法，本文的主要方法差异在于联合语义空间、语义信息解耦与类内几何约束，而非仅改变特征映射目标。 作者报告，通过量化视觉图像与 EEG 特征之间的互信息，观察到互信息大小与解码性能存在较强正相关；这一观察属于关联证据，不能据此认定提高互信息必然带来性能提升。作者还报告，在一个大型 Image-EEG 数据集的零样本神经解码任务中取得最先进结果，但摘要未给出数据集正式名称、被试数量、具体指标、分数、对照基线或零样本类别划分，因而尚不能判断优势幅度，也不能将该结果扩展为已验证的跨被试或跨会话泛化能力。 复现时需核对联合语义空间的构建方式、解耦模块与类内一致性约束的训练条件、互信息估计方法，以及未见类别的划分和推理流程。还应核对各模块的消融结果与统计证据，以区分语义对齐改进和其他训练因素的贡献。实验协议、消融及统计信息尚未验证；摘要也未提供代码或模型权重的可用性信息。