EEG 与文本的语义对齐:用于想象言语解码的对比学习框架
Semantic Alignment of EEG and Text: A Contrastive Learning Framework for Decoding Imagined Speech
基于摘要分析。研究针对闭集 EEG 想象言语分类将语言意图视为独立标签、难以利用类别间语义关系的问题,通过多模态对比学习将 EEG 试次映射到冻结预训练文本编码器的嵌入空间,尝试在保持固定意图分类能力的同时支持语义相似度检索。 方法训练 EEG 编码器,使用结合语义重加权 EEG—句子对齐与基于文本原型的类别判别的复合目标,在引入语义结构的同时维持 39 个意图类别的可分性。摘要未说明 EEG 编码器结构、文本编码器名称、重加权公式及各目标权重,具体实现尚未验证。 作者在 Chisco 想象言语数据集的五名被试上评估 Top-k Accuracy、macro-F1 和平衡成对匹配准确率(2v2)。作者报告,该框架的解码表现与面向该任务优化的闭集分类器相当;但摘要未提供具体分数、统计不确定性,以及被试内或跨被试等划分信息,因此不能据此判断性能差异或泛化范围。 作者另以 EEG 与文本的最大余弦相似度(MaxCosine)作为内在可靠性指标,报告其在各被试的留出试次中筛选出 Top-1 和 Top-5 Accuracy 更高的子集。该结果支持相似度排序的潜在用途,但可靠性校准、筛选覆盖率及阈值设置尚未验证。五个仅在评估时使用的语义轴,其平均一致率均高于 50% 的机会参考;这不等同于已确认统计显著性。Semantic Gallery Probe(SGP)则定性展示了 EEG 与此前未见候选句的直接比较。 阅读重点是语义对齐与类别判别如何取得平衡,以及语义探测能否提供超出类别标签的信息。未见候选句的定性比较不能直接等同于开放词汇生成或任意想象言语解码。完整实验协议、消融及统计信息尚未验证,复现还需核对数据划分、预处理、文本原型构建与候选句选择方式。
来源:arXiv · EEG 基础模型 · arxiv.org