通过 EEG 信号编码考察语言模型中类人的下一词预测行为
Encoding EEG Signals to Examine Human-Like Next-Word Prediction Behaviour in Language Models
基于摘要分析。该研究考察语言模型(LMs)与人类在阅读中的下一词预测是否相似,以及哪些可预测性度量能够反映二者与 EEG 神经响应的对应关系。研究分别从人类和 LMs 的词预测中构建 top-1 prediction 与 surprisal 回归变量,用于预测 EEG 记录中的事件相关电位(ERP),将行为预测表现与神经响应对应关系分开检验。 技术上,top-1 prediction 关注预测的首选词,surprisal 则描述实际词相对于预测分布的意外程度;两者提供不同层面的可预测性表征。摘要所述方法属于用预测变量解释或预测 EEG/ERP 的编码分析,并非从 EEG 解码下一词,也不是面向 BCI 控制任务的新算法。 作者报告,在所分析的阅读与词预测条件下,更先进的 LMs 在词预测准确率上与人类表现较为接近,但只有 surprisal 可能与语言加工相关 ERP 存在关联,且这种关系在语义内容较丰富的开放类词中尤其突出。摘要未提供模型名单、具体效应量或统计结果,因此不能将“可能相关”升级为已确立的神经机制一致性。 作者据此质疑:增加 LMs 的参数量和计算预算,未必会持续提升其与类人语言加工的趋同程度。该结论的适用范围仍需结合全文中的模型规模对照、词类划分和统计分析核对,不能扩展为对所有语言模型的普遍判断。 复现时需核对人类预测变量的获取方式、surprisal 的计算与词元对齐、ERP 成分及时间窗、编码模型和评估划分。数据集、被试人数、EEG 预处理、控制变量、实验协议、消融及统计信息尚未验证;摘要也未说明代码或数据的可用性。
该研究通过 EEG/ERP 编码比较 top-1 prediction 与 surprisal,值得用于核对语言模型词预测准确率与人类语言加工神经响应的一致性是否属于不同层面的证据。
来源:OpenReview · EEG · openreview.net