我们究竟在解码什么?非侵入式脑到语言检索的来源归因
What Are We Actually Decoding? Source Attribution for Non-Invasive Brain-to-Language Retrieval
基于摘要分析。本文研究非侵入式脑到语言解码的高分究竟来自神经信号,还是解码器语言先验、文本指标或输入结构,并提出 source attribution:在解码器输入端进行具有已知随机水平的检索评估,分别控制输入结构、窗口内证据与跨窗口上下文的贡献。 作者报告,在一条端到端句子解码流程中,于解码器之前评分时,与真实 MEG 保持相同时长的高斯噪声取得 66.3% 的句子检索 R@1,真实 MEG 为 90.8%,表明该流程中的输入时长可支持较高检索分数。作者称,这一捷径未见于此前的侵入式 ECoG 对照,且仅在输出端评分的噪声对照未能发现它;该观察不宜外推为所有非侵入式解码系统的共同结论。 移除时长影响后,作者报告,词对齐 MEG 窗口在 1,464 个候选中识别对应音频的成功比例为 44%,噪声则保持随机水平。对于上下文增益,作者提出归因判据:增益应随局部证据减弱而下降,并在局部证据不存在时消失。作者报告,一种无需训练的聚合方法在两个 MEG 数据集上满足该判据,R@1 分别提高 7.7 和 6.9 个百分点;在局部证据很弱的 EEG 上未产生虚假增益,而以句子长度替代证据的阶段未通过该判据。 该工作的贡献主要是评估与归因框架,而非新的语言生成架构。作者称其无需改变原流程的任务、架构或训练。摘要提供了项目页和代码链接,但实现可用性尚未验证;数据集名称、被试数、数据划分、候选构造、时长控制细节,以及消融和统计信息尚未验证。MEG 上的局部证据与聚合收益不能直接视为 EEG 上已获验证的解码效果。
该研究通过解码器输入端的检索评估与分来源对照,提供了区分输入时长捷径、局部神经证据和跨窗口上下文增益的可核查思路,值得用于审视非侵入式语言解码分数的来源,但具体协议与结论仍需全文验证。
来源:OpenReview · EEG · openreview.net