NeuroLens:通过结构化状态空间编码与对比对齐实现跨模态 EEG-to-text 解码
NeuroLens: Cross-Modal EEG-to-Text Decoding via Structured State Space Encoding and Contrastive Alignment
基于摘要分析。该研究针对开放词汇 EEG-to-text 任务,即仅从神经记录生成参与者正在阅读的句子,提出 NeuroLens,以改善短而噪声较大的词级 EEG 编码,并显式约束解码器对配对信号的依赖,区分 EEG 信息与语言先验对输出的贡献。 方法包含三个部分:采用具有 HiPPO 初始化长程记忆的双向 S4D 编码器;使用结合 shuffled-EEG discrimination、对比对齐与词汇先验的 reliance-aware objective,直接奖励模型依赖配对记录;通过对解码器自注意力施加可调系数实现 decoder prior dampening。验证协议在三个随机种子下,将 EEG 替换为打乱、噪声及全零信号,检验输出是否依赖原始输入。具体损失形式、信号预处理及解码器配置尚未验证。 作者报告,在 ZuCo 1.0 的句子不重叠划分、无 teacher forcing 协议下,NeuroLens 的 BLEU-1 为 22.44,BLEU-4 为 1.46;相对此前最佳结果,BLEU-4 提升 92%。在该评估背景下,跨句子打乱 EEG 后 BLEU-4 下降 68%,置零后下降 89%。这些相对下降支持模型输出对输入信号敏感,但绝对 BLEU-4 仍较低,且不能仅凭输入替换确定模型恢复了多少句子语义。摘要未给出噪声替换的具体结果。 作者称进行了匹配协议的消融与 dampening 系数扫描,但各组件贡献、基线配置、被试划分、统计波动及显著性尚未验证;句子不重叠也不等于跨被试验证。复现时应优先核对词级 EEG 的获取与对齐方式、划分实现、无 teacher forcing 的生成流程,以及替换输入是否在保持其他条件一致时执行。摘要提供了代码地址,但代码完整性与运行条件尚未验证。该任务涉及阅读诱发 EEG,不宜将结果直接外推为自由意图或自然交流场景下的 BCI 解码能力。
值得核对其句子不重叠、无 teacher forcing 的评估及 EEG 替换检验:作者尝试将解码性能与对真实信号的依赖区分开来,但替换实验尚不能单独证明精确语义解码。
来源:OpenReview · EEG · openreview.net