用于聆听与观看的 EEG 多模态解码的语义引导对比学习

基于摘要分析。研究针对自然情境 BCI 中语义解码方法通常依赖单一刺激模态的问题，提出 Semantic-Guided Contrastive Learning（Semantic-CL），旨在不修改架构的情况下适用于听觉与视觉 EEG 语义解码。 核心机制包括两部分：其一，使用刺激之间的语义相似度度量，引导软对比学习中的 EEG 表征对齐；其二，引入被试间对比对齐，以协调不同被试的神经表征。阅读重点在于语义关系约束与被试差异校正如何协同作用，而非仅对单一模态设计专用解码结构。摘要未提供语义相似度的计算来源、软对比损失的具体形式、表征编码器及训练与推理流程，这些细节尚未验证。 作者在动态视频基准 SEED-DV 与自然语音基准 Broderick 上评估该框架，并报告语义解码性能达到当前最优，尤其在跨被试设置中表现突出。摘要未给出具体指标、数值、被试规模、数据划分及对照基线，因而目前不能量化提升幅度或判断不同协议下的可比性。在两个模态不同的基准上使用同一架构，也不等同于已证明跨模态迁移或跨数据集泛化。 复现时应核对语义信息在训练与测试中的使用方式、跨被试划分、各数据集的解码目标，以及语义引导与被试间对齐各自的贡献。作者提供了匿名代码链接，但代码完整性与可运行性尚未验证；实验协议、消融及统计信息尚未验证。摘要将该框架定位为支持自然情境下可部署 BCI 的方法，但实际部署表现仍需进一步证据。