DeWave:用于 EEG 到文本翻译的 EEG 波形离散编码
DeWave: Discrete Encoding of EEG Waves for EEG to Text Translation
基于摘要分析。DeWave 研究开放词汇 EEG 到文本翻译,针对现有方法依赖眼动注视或事件标记进行词级分割的问题,提出通过离散 EEG 编码与预训练语言模型对齐的框架,并探索不依赖词级顺序标记的整段信号翻译。 核心机制是使用量化变分编码器生成离散 codex 表征,再将编码序列与预训练语言模型对齐。作者认为,文本–EEG 对比对齐训练能够缓解眼动注视顺序与词语顺序不一致的问题,而具有不变性的离散 codex 可减少个体 EEG 差异带来的干扰。摘要未提供量化实现、损失函数、训练阶段或语言模型名称,上述机制的具体实现及各模块贡献尚未验证。 作者报告,在 ZuCo Dataset 上,DeWave 达到 41.35 BLEU-1 和 33.71 Rouge-F,对应此前基线分别为 40.1 和 31.7。摘要未交代这一比较的被试内或跨被试协议、数据划分与基线名称,因此不能据此判断跨被试泛化能力。另在不使用词级顺序标记的整段 EEG 翻译条件下,作者报告 20.5 BLEU-1 和 29.5 Rouge-1。两组结果的输入条件不同,且 Rouge-F 与 Rouge-1 的指标表述不同,不宜直接作等价比较。 阅读全文时需核对离散表征的不变性如何约束与评估、训练和推理各自依赖哪些文本或事件信息,以及整段信号的切分与对齐方式。被试数量、实验划分、消融、统计信息和复现资源尚未验证。摘要中的结果不能直接证明系统已具备自由表达场景下的实时 BCI 能力;作者关于整段翻译的“首次”主张也尚未独立核验。
值得阅读的具体原因是 DeWave 将离散 EEG 编码与预训练语言模型对齐,并报告了不依赖词级顺序标记的整段 EEG 到文本翻译结果;其对跨被试差异的缓解程度及推理条件仍需全文核验。
来源:OpenReview · EEG · openreview.net