跳到正文
OpenReview · EEG· Sijie Ling; Alex Murphy; Alona Fyshe·· 2024-12-31精选AI 评分71

利用多时间尺度语言模型探索大脑的时间敏感性:一项 EEG 解码研究

Exploring Temporal Sensitivity in the Brain Using Multi-timescale Language Models: An EEG Decoding Study

AI 导读

基于摘要分析。本研究关注人脑在理解单词与故事叙事时,如何处理不同时间尺度的语言信息;其贡献是利用 EEG 解码具有不同时间尺度敏感性的 MT-LSTM embeddings,考察语言模型表征与大脑语言加工的时间对应关系。 方法上,研究使用参与者聆听《Alice in Wonderland》第一章时记录的 EEG 数据,训练岭回归模型,由 EEG 响应预测 MT-LSTM embeddings。MT-LSTM 通过时间调谐参数形成对不同语言时间尺度的敏感性,涉及邻近或较远词语的信息。这里的预测方向是 EEG 到模型表征,而不是由语言模型预测 EEG,也不是直接解码词语或完成在线 BCI 控制。 作者报告,在该故事聆听数据的解码分析中,EEG 能够预测多个时间尺度的 MT-LSTM embeddings:较长时间尺度表征在词语起始前后 ±2 s 的较宽时间窗内可被准确预测;较短时间尺度表征的显著预测集中于 −180 ms 至 790 ms 的较窄时间窗。作者还报告,短时间尺度信息不仅在词语起始附近出现,也可在更远的时间点被观测到。摘要未给出预测准确性的具体指标或数值,因此不能将这些时间窗直接解读为效应强度,也不能据此确定独立的神经加工阶段。 该研究主要提供语言加工时间尺度的神经表征分析,而非新的通用 EEG 解码算法。作者认为,显式考虑时间尺度有助于更有针对性地比较人脑与计算模型的语言表征。复现时需要核对 MT-LSTM 时间尺度的定义、embedding 提取方式、EEG 与词语起始的对齐、岭回归正则化及训练测试划分,并确认连续故事中相邻词语和时间窗相关性的处理方式。被试数量、预处理、被试内或跨被试协议、对照模型、显著性检验及消融信息尚未验证;摘要结果不等于已验证的 BCI 应用效果。

阅读价值

值得阅读之处在于以具有不同时间尺度敏感性的 MT-LSTM 表征作为 EEG 解码目标,检验语言信息的时间分布;作者报告的不同预测时间窗为核对神经信号与模型表征的对应关系提供了具体线索,但其稳健性尚待全文验证。

来源:OpenReview · EEG · openreview.net