指令、推理与解码:用于 EEG-to-Text 解码的细粒度语义指令与推理
Instruct, Reason, Decode: Fine-Grained Semantic Instruction and Reasoning for EEG-to-Text Decoding
基于摘要分析。该研究针对开放词汇 EEG-to-text 解码中 EEG 信噪比低、语言语义复杂,以及生成模型可能过度依赖语言先验和累积早期预测错误的问题,提出 SIRE(Semantic Instruction and Reasoning from EEG)。核心贡献是先从 EEG 预测细粒度语义,再将这些语义作为持续可用的指导信息用于句子生成。 方法上,SIRE 通过任务特定的问答指令,为从 EEG 解码评价方面、判断、事实类别和语义关系提供明确学习目标;随后自适应选择语义问题,并通过 chain-of-thought reasoning 整合预测答案,再生成句子。预测答案在整个自回归解码过程中保持可用,使模型能够同时利用语义预测、EEG 表征和已生成文本。相较于摘要所述的句子级对齐或粗粒度提示,其区别在于对待表达内容提供更细粒度、持续性的语义引导;具体模型结构、损失函数及问答监督构建方式尚未验证。 作者报告,在 ZuCo 1.0 和 ZuCo 2.0 上,SIRE 在完全自回归生成条件下的多项语义解码指标优于所比较的基线;作者报告消融支持语义指令与推理的贡献,输入对照显示生成受益于正确配对的 EEG。摘要未给出指标名称、数值、基线清单及被试内或跨被试划分,因此不能量化改进幅度,也不能据此判断跨被试泛化能力。 复现时需核对数据划分、EEG 预处理、语义问答标签来源、训练与推理阶段的信息边界,以及输入对照的具体设置。预测语义是否会将错误持续带入生成,以及收益能否推广至其他 EEG-to-text 数据条件,仍需验证;实验协议、消融细节及统计信息尚未验证。
值得关注其以细粒度语义问答约束 EEG-to-text 生成的机制,以及正确配对 EEG 的输入对照;作者报告了全自回归生成下的收益,但具体协议与效应大小尚未验证。
来源:OpenReview · EEG · openreview.net