SOnET:通过神经特征表征学习实现开放词汇 EEG 到文本解码
SOnET: Towards Open-vocabulary EEG-to-text Decoding via Neural Signature Representation Learning
基于摘要分析。该研究面向非侵入式 EEG 到文本解码,重点处理个体神经特征差异对可泛化解码系统的影响。作者提出开放词汇解码框架 SOnET,通过学习并融合被试神经特征表征,使文本解码过程考虑个体差异。 核心机制是在自编码器的分离潜在空间(split-latent space)中使用对比损失,解耦被试的神经特征;随后通过交叉注意力,将学到的神经特征嵌入与 EEG 嵌入融合。训练还采用 perplexity loss,依据预测不确定性自适应缩放梯度更新。摘要未提供潜在空间划分、对比样本构造、损失公式及各项损失权重,具体实现尚未验证。 作者报告,在 ZuCo EEG-text dataset 的三项阅读任务上,相较最强基线,SOnET 的 BLEU-1 相对提升 15.3%,ROUGE-1 F1-score 相对提升 17.3%。作者另报告,在 ROAMM dataset 上,BLEU-1 相对提升 13.6%,ROUGE-1 F1-score 提升 2.4%;后者未明确是相对提升还是百分点变化,不能自行换算。摘要未给出绝对分数、基线名称或数据划分,因此这些结果尚不能作为跨被试泛化能力的直接证据,也不能在不同数据集间直接比较。 作者称消融分析支持各组件的贡献,并提供匿名代码入口,但代码内容、运行条件及结果可复现性尚未核验。阅读全文时应重点核对被试内与跨被试划分、未见被试的神经特征获取方式、开放词汇的定义及词汇划分、文本解码阶段的输入条件,以及语言模型与 EEG 信息各自的贡献。实验协议、消融及统计信息尚未验证;阅读任务上的文本重建收益也不能直接等同于面向沟通困难人群的自由表达 BCI 有效性。
值得核对其以被试神经特征解耦和交叉注意力融合处理个体差异的机制,并复现其相对基线收益,但跨被试泛化及开放词汇评估协议尚未验证。
来源:OpenReview · EEG · openreview.net