BrainLLM-Bench：模型排名可跨听者迁移，但并非总能跨刺激或读出方法迁移

基于摘要分析。该研究考察语言模型“类脑性”排名是否随读出方法、听者和刺激文本变化而保持稳定，提出 BrainLLM-Bench，以逐项改变这些因素的协议区分测量可靠性与排名可迁移性。主要对象是语言模型与脑响应的表征对齐评估，而非直接验证 BCI 解码性能。 作者报告，在单名听者的 MEG 数据上，32 个模型检查点通过表征相似性与线性编码分别得到可靠性为 0.98 和 0.96 的排行榜，但两者排序负相关：Spearman ρ = −0.573，按模型家族聚类的 95% CI 为 [−0.79, −0.26]。在注册检验的 48 个基础检查点上，按惯常方式应用两种读出时仍观察到反向排序（ρ = −0.59，CI [−0.78, −0.12]）；但该现象限于一个队列，未在 27 名听者的 MEG 或 47 名被试的英语 EEG 中复现。对原先 32 个检查点进一步控制静态嵌入后，ρ 为 −0.415，摘要指出反向关系不再确定，特征几何的影响尚不能排除。 作者报告，两个交叉设计队列中，不重叠听者半组的排行榜在两种读出下均较稳定，Spearman ρ 中位数介于 +0.76 至 +0.96。刺激迁移则依队列而异：同一批 27 名听者聆听四篇叙事时，不同故事的相似性排行榜平均一致性接近零；该结果属探索性结论，注册的共同主要检验支持它，但注册的离散度主要检验不支持。另一个完全交叉的 fMRI 队列包含 25 篇叙事与 9 名听者，跨叙事一致性为 +0.78。 基准主协议覆盖五个语言队列，涉及 MEG、EEG、颅内 ECoG 及英语、德语；其中头皮 EEG 被定位为非受控探查。读出扫描由 32 扩至 57 个检查点，其中 48 个为基础检查点。作者还推导不同读出对哪些特征变换保持不变，说明两种测量可以合理地产生不同排序，但未证明这就是实测反转的原因。作者报告，模型规模在 Pythia 70M–2.8B 梯度及最高达 72B 的三代 Qwen 中均未稳定决定对齐排序。其核心启示是：类脑性排名应同时注明读出方法、队列与刺激样本，而不能视为模型的无条件属性。具体预处理、划分、可靠性估计、消融及统计信息尚未验证。