将 LLM 视为大脑:通过对齐 EEG 信号与语言的语义解码文本
Thinking of LLM as a Brain: Decoding Text by Aligning Semantic in EEG Signals and Language
基于摘要分析。本文研究 EEG-to-text,提出将其从序列到序列翻译重新表述为细粒度可控文本生成:训练 EEG 表征模型,使其输出与文本语义空间对齐,再利用这些表征引导 LLM 生成目标句子。核心贡献是将学习重点放在 EEG 与文本的语义对齐上,而不是依赖 teacher-forcing 的翻译训练。 机制与对照:作者认为,既有方法采用 teacher-forcing 时未能有效提取和利用 EEG 信息,因此尝试借助 LLM 的文本生成能力,让对齐后的 EEG 表征承担生成控制信号。“将 LLM 视为大脑”是框架类比,并非关于生物脑机制的验证。摘要未说明语义空间如何构建、对齐损失的形式、EEG 表征如何接入 LLM,以及 LLM 是否冻结或微调,这些实现细节尚未验证。 结果与评估:作者报告,在 ZuCo benchmark 的多被试与单被试设置下取得最先进性能,并在跨被试场景中表现出对未见被试的泛化能力。摘要未提供具体指标、分数、对照方法和划分信息;其中多被试与单被试设置也不能直接等同于跨被试或被试内协议,因此目前无法量化其改进幅度或直接比较不同设置。 复现时需重点核对:训练与推理阶段可用的文本信息、未见被试的划分方式、生成结果对 EEG 输入的依赖程度,以及语义对齐相对于其他条件生成方式的增益。可通过核对 EEG 打乱、移除 EEG 等对照判断语言先验与神经信号各自的贡献,但不能据摘要认定作者未做这些实验。完整实验协议、消融及统计信息尚未验证。
值得关注其将 EEG-to-text 从序列翻译改为语义对齐驱动的可控文本生成的机制,但仍需核对 EEG 相对于 LLM 语言先验的实际贡献及跨被试评估协议。
来源:OpenReview · EEG · openreview.net