视觉模型能够预测城市街景评价,但神经表征对齐有限
Vision Models Predict Urban Scene Appraisal with Limited Neural Alignment
基于摘要分析。本研究考察预训练视觉嵌入能否在准确预测城市街景评价之外,反映人类视觉系统组织场景的方式。作者利用公开发布的 EEG 数据,对比场景在神经响应、预训练视觉模型、简单图像描述符及人类评分中的表征几何,区分“能够预测评价”与“具有相似神经表征”这两种主张。 数据来自63名观看并评价柏林街景的成年人。比较对象包括训练目标和规模不同的预训练视觉模型,神经表征对应程度以参与者之间的一致性所定义的噪声上限为参照。研究重点并非开发 EEG 基础模型或 BCI 解码算法,而是检验视觉特征空间的感知解释是否成立。 作者报告,在上述街景 EEG 表征几何比较中,没有任何特征空间达到超过约一半噪声上限的水平;按摘要所述,这对应于神经表征几何中约五分之一的可靠方差。定向边缘能量描述符达到多数预训练模型的对应水平,但捕获的是神经几何中的不同部分;更深层特征则对应更晚的神经响应。 作者报告,同一批视觉嵌入对留出评分的预测相关性最高达到 r = 0.87,但跨模型比较时,预测准确性与神经对应程度之间没有可靠关联,预测最好的模型也属于神经对齐程度最低的一组。因此,作者认为,成功预测街景评价只能为模型是否以类似大脑的方式表征街景提供较弱证据;这一结论不等同于否定模型的评价预测用途。 摘要未给出具体模型名单、EEG 预处理、表征几何度量、评分留出划分及统计检验细节,实验协议、消融及统计信息尚未验证。尤其需要结合全文核对噪声上限与可靠方差的计算方式,以及预测任务和神经对应分析各自的评估条件。现有材料不支持将结果推广为 EEG/BCI 解码性能结论。
该研究通过同一批街景的评价预测与 EEG 表征几何对照,检验行为预测准确性是否足以支持神经表征解释,为使用视觉嵌入解释人类感知提供了可核对的证据边界。
来源:arXiv · EEG 基础模型 · arxiv.org