这是谁的大脑?读者身份解释了几乎全部 EEG-to-text 检索表现,而逐读者适配器可恢复该表现
Whose Brain Is It? Reader Identity Accounts for Almost All of EEG-to-Text Retrieval, and a Per-Reader Adapter Recovers It
基于摘要分析。本文研究 EEG-to-text 检索能否泛化到训练中未出现的读者,并提出逐读者适配器进行有监督校准。作者报告,保留全部读者、仅留出句子的评估主要反映已知读者读取新句子的表现;改为跨被试评估后,超出机会水平的检索优势大幅下降。 评估将 ZuCo 的全部 30 名读者划入五个互不重叠的折,并使用时长匹配的候选池。作者报告,在相同候选池下,未见读者的检索指标为 0.0458、机会水平的 1.10 倍,与机会水平无可区分;训练中已见读者为 0.1090、机会水平的 2.62 倍。摘要未注明该检索指标的具体名称。作者据此将超出机会水平优势的 94% 归因于读者身份而非语言。相同协议在语言、范式及实验室不同的 ChineseEEG 上损失了 96% 的超机会水平优势,所测试的无标签归一化未改善结果;这不等于 EEG 完全不含语言信息。 适配方法冻结不依赖特定读者的编码器,为每位新读者加入沿通道轴作用的残差线性重映射,参数最多 16,384 个,初始化严格为恒等映射。作者报告,使用 400 个带标签句子校准后,ZuCo 上可达到已见读者的性能上限;在标签数量匹配条件下,该方法在 ZuCo 和分句级 ChineseEEG 上均优于全量微调。它需要新读者的标注数据,不属于零样本跨被试泛化。 作者报告的机制对照包括:匹配学习率不能复现增益;无逐读者参数的共享读出表现最差;随机冻结编码器上的适配器仍处于机会水平;移植适配器后增益全部消失。预训练与校准单独作用很弱,联合则呈超加性效果。作者还报告,两部分主要结果在 4 Hz 高通后仍成立,但 ZuCo 最佳电极子集完全位于额部,其优势在高通后消失,提示电极选择建议存在需核对的混杂因素。 复现需核对候选池构造、检索指标与机会水平定义、读者及句子划分、校准标签使用范围、归一化方案和统计检验。全文未取得,实验协议细节、消融及统计信息尚未验证。
值得核对其跨被试检索协议与逐读者校准对照:作者报告,已见读者上的 EEG-to-text 检索优势几乎不能迁移到未见读者,而小型有监督适配器可恢复性能,但该结论仍需结合全文的指标定义与统计检验验证。
来源:OpenReview · EEG · openreview.net