共享的类纹理表征而非全局形状,是深度神经网络与人类视觉加工对齐的基础
Shared texture-like representations, not global form, underlie deep neural network alignment with human visual processing
基于摘要分析。本研究考察深度神经网络(DNN)与人类视觉 EEG 响应的对齐主要由哪些图像属性驱动,并通过保留局部图像统计、破坏全局形状的刺激操纵,区分类纹理表征与物体形状、类别信息的贡献。作者报告,较高的 DNN–EEG 对齐不必依赖完整的全局形状,也不等同于更丰富的可解码物体类别信息。 研究记录了 57 名参与者观看三类图像时的 EEG:自然场景、保留局部统计的全局汇总但破坏全局形状的 texture-synthesized 图像,以及无背景的孤立物体图像。这里的“类纹理表征”被操作性定义为局部图像统计的全局汇总,而非泛指所有纹理或低层视觉特征。 作者采用表征相似性分析比较 DNN 与 EEG 的表征关系,并使用跨条件预测,检验一种图像条件下的 DNN 特征能否预测另一条件下的 EEG。作者报告,在所比较的图像条件中,当 DNN 与人类均处理 texture-synthesized 图像时,对齐最强;由该类图像提取的特征也能泛化至自然场景 EEG 的预测。作者还报告,texture-synthesized 条件下对齐增强与可解码物体类别信息减少同时出现,提示模型—脑信号对齐与类别信息可解码性可以分离。 这些结果支持局部图像统计是本研究中 DNN 与人类视觉加工共享的重要表征基础,但不能据此认定人类视觉不利用全局形状,也不能直接外推为 BCI 解码性能改善。具体 DNN、EEG 预处理与时间窗、特征提取及预测实现、数据划分、效应量、消融及统计信息尚未验证;复现时需核对刺激统计控制、跨条件预测的训练与测试协议,以及对齐指标和类别解码指标各自的定义。
该研究通过图像统计特性操纵及跨条件预测,检验 DNN–EEG 对齐是否反映物体形状或类别信息,为解释视觉模型与脑信号相似性的证据边界提供了具体对照。
来源:OpenReview · EEG · openreview.net