超越预测准确度:用于评估模型–大脑对齐的目标空间恢复剖面
Beyond Prediction Accuracy: Target-Space Recovery Profiles for Evaluating Model–Brain Alignment
基于摘要分析。本文研究视觉模型与人脑的表征对齐评估:预测脑响应的准确度相近,并不意味着模型恢复了相同的脑响应结构。作者提出目标空间恢复剖面(recovery profile),在目标被试的 fMRI 响应空间中比较模型预测子空间与参考方向的重叠,而非仅比较预测准确度。 核心机制是在每位目标被试、每个视觉区域内,利用相同图像的多次试验响应构造加权参考。主分析对不同试验组的平均响应进行岭正则化降秩回归,再对得到的预测子空间投影算子取平均。恢复剖面刻画各模型子空间与加权参考方向的重叠。作者还利用其他被试响应形成剖面,并在每个目标被试内匹配预测准确度,以这些剖面之间的差异作为模型差异的脑–脑比较基准;其具体匹配与估计流程仍需全文核对。 作者分析了 Natural Scenes Dataset(NSD)八位被试对 515 张共有自然图像的响应,覆盖 V1、V2、V3 和 hV4。对同架构的 ImageNet 预训练模型与随机初始化模型,在留出数据上的预测准确度差值不超过 0.01 的匹配条件下,作者报告预训练模型在 29 对比较中的 25 对具有更高的平均恢复剖面得分。采用 Generative Modeling of Signal and Noise(GSN)估计信号协方差、据此构造替代参考时,作者报告平均差异仍为正。该结果支持恢复剖面能够揭示与预训练相关、但预测准确度未充分区分的结构差异,不等同于证明模型完整恢复了脑表征。 摘要未给出模型架构、留出划分、准确度定义、子空间秩与正则化选择、效应量及统计不确定性,实验协议、消融及统计信息尚未验证。本文主要贡献是视觉模型与 fMRI 响应的对齐评估,而非 BCI 算法;向 EEG 等信号的适用性尚未验证,相关工作尚未检索确认。
该研究提供了在预测准确度接近时比较模型所恢复脑响应结构的具体评估路径,值得核对其子空间参考构造、准确度匹配及跨被试基准的稳定性,但尚不能据此判断其对 BCI 解码的价值。
来源:OpenReview · State space models · openreview.net