跳到正文
OpenReview · State space models· ARNAB BHATTACHARJEE; Zaid Zada; Haocheng Wang; Bobbi Aubrey; Samuel Nastase; Werner K Doyle; Sasha Devore; Patricia Dugan; Daniel Friedman; Orrin Devinsky; Adeen Flinker; Peter Ramadge; Uri Hasson; Ariel Goldstein·· 2023-09-23精选AI 评分73

将不同个体的大脑对齐到共享空间可改善其与大型语言模型的对齐

Aligning Brains into a Shared Space Improves Their Alignment to Large Language Model

AI 导读

基于摘要分析。研究考察不同个体在理解同一段语言材料时,共享神经表征是否比原始脑响应更容易被大型语言模型(LLM)解释。作者使用共享响应模型(shared response model)提取跨被试信息空间,再通过 LLM 上下文嵌入与线性编码模型预测共享特征,并将共享表征回投影至个体神经空间以实现去噪。 数据与机制:研究分析了 8 名被试听同一段 30 分钟播客时的神经响应。摘要未明确神经信号采集模态,不能据此认定为 EEG、ECoG 或 fMRI。方法依赖各被试对共同刺激的响应具有可对应结构;LLM 的 Transformer 隐藏状态提供上下文嵌入,共享响应模型则用于提取个体之间的共同信息。具体 LLM、共享空间维度、拟合目标与训练流程尚未验证。 结果:在上述共同播客条件下,作者报告 LLM 线性编码模型对共享信息特征的预测表现显著优于对原始脑响应的预测;将共享表征回投影用于个体去噪后,各被试编码表现平均提升 38%。摘要未给出该编码表现的指标定义、提升计算方式、数据划分或统计细节,因此该数值不能解释为 Accuracy 提升或百分点变化。作者报告改善在语言理解相关的 superior temporal gyrus(STG,上颞回)和 inferior frontal gyrus(IFG,额下回)最突出,并报告由一组被试计算的共享空间可泛化至新被试,但新被试的适配与评估协议尚未验证。这些结果支持作者关于共享语言表征的解释,不等于已验证的 BCI 解码效果。 平台推测(待验证):假设共同刺激下的跨被试共享成分可抑制个体噪声,该机制可能用于 EEG 语言响应的跨被试表征对齐。可复用共享空间与回投影思路,但需适配 EEG 的通道布局、时间分辨率及信号混合特性;低信噪比、被试时延差异和小样本可能使共享空间丢失有效个体信息。一个小规模可检验实验是在共同语音刺激 EEG 数据中,按被试和时间段严格划分拟合与测试数据,比较原始响应与共享空间回投影响应的 LLM 编码表现。已有 EEG 相关工作尚未检索确认;全文实验协议、消融及统计信息尚未验证。

阅读价值

值得阅读的具体原因是作者以共享响应空间连接跨被试神经表征与 LLM 线性编码,并报告回投影去噪及向新被试泛化的效果;其价值仍需结合数据划分和共享空间拟合协议核对。

来源:OpenReview · State space models · openreview.net