Brain-Score 与表征相似性分析:模型—脑对齐中的方法论趋同
Brain-Score Meets Representational Similarity Analysis: A Methodological Convergence in Model-Brain Alignment
基于摘要分析。该研究考察 Brain-Score(BS)与 Representational Similarity Analysis(RSA,表征相似性分析)对模型—脑对齐的评价是否一致,主要贡献是在语言模型与脑信号的对齐评估中,比较预测映射和表征几何相似性两种范式,并在 EEG 与 ECoG 数据上检验其对应关系。 BS 基于预测映射评估模型表征与脑信号的对应程度,RSA 则从表征几何相似性出发。研究使用 DERCo EEG 数据集,分析了参数规模为 0.5B–14B 的 47 个 Large Language Models(LLMs)。作者报告,两种指标均呈现中间层较高的倒 U 形层间分布;在单个模型内部,47 个模型中有 46 个的指标相关性达到显著,平均 r = 0.725;汇总 1,496 个观测后,相关性为 r = 0.403,p < 0.001。上述统计分别对应模型内比较与汇总比较,不宜视为同一层级的证据。 作者报告,相关发现还在 Podcast ECoG 数据集上得到验证,但摘要未提供该验证的具体效应量。作者据此认为,两种范式捕获了高度重叠的模型—脑对齐信息,并将其作为统一 NeuroAI 评估框架的实证依据。该研究的主要对象是对齐评价方法的一致性,而非 BCI 解码性能提升;其结果也不能单独证明两种指标可以互相替代,或已准确刻画脑内语言加工机制。 复现时需核对 BS 的映射与正则化设置、RSA 的距离定义、脑信号与模型表征的时间对应、数据划分、显著性检验及多重比较处理,以及汇总观测之间的依赖关系。摘要未交代这些细节,实验协议、消融及统计信息尚未验证。作者提供了代码地址,但代码完整性、运行环境与数据获取条件尚未验证。
该研究直接比较预测映射与表征几何两类模型—脑对齐指标,为判断两者是否提供重叠证据提供了可核对的实证结果,但指标一致性不等于其神经解释有效性已获验证。
来源:OpenReview · EEG · openreview.net