跳到正文
OpenReview · EEG· Clemens Georg Bartnik; Evelyne I.C. Fraats; Iris Groen·· 2025-05-14精选AI 评分76

场景感知中的时间错位:人脑反应与 DNN 中行进动作可供性表征的差异

Temporal misalignment in scene perception: Divergent representations of locomotive action affordances in human brain responses and DNNs

AI 导读

基于摘要分析。本研究关注人类视觉系统如何从场景中提取与导航相关的行进动作可供性,例如步行、骑行的可能性。研究结合场景诱发的 EEG、行为标注、表征相似性分析及 EEG–fMRI 时空融合,考察这类信息的神经表征时间进程、脑区对应关系及其与 DNN 表征的对齐程度。 方法上,作者采集了观看多种室内与室外场景时的 EEG,并利用行进动作可供性的行为标注、物体标注和低层图像特征,建模不同类型的场景信息。表征相似性分析用于比较这些信息与随时间变化的神经表征之间的关系;结合场景选择性脑区的 fMRI 记录进行时空融合,以考察相关表征的空间定位与时间层级。摘要未说明具体 DNN、表征提取方式或训练设置。 作者报告,在场景视觉加工开始后的 200 ms 内,行进动作可供性表征已出现,其对 EEG 反应的独特贡献发生在与物体及低层属性不同的时间点。作者还报告,海马旁场景区与枕叶场景区参与该表征,两者存在不同的时间层级,而内侧场景区未显示相应贡献;这一结果应限定于所用场景任务及分析条件,不能扩展为该脑区在所有导航任务中均不参与。 在 DNN 对照中,作者报告其与早期 EEG 反应较好对齐,但主要捕捉低层特征,与行动可供性加工的对齐有限。因此,研究的主要贡献是刻画场景感知中行动相关信息的时空表征,并指出所考察 DNN 对此类表征的建模局限,而非提出 BCI 解码算法或验证在线控制效果。 被试数量、场景样本规模、EEG 预处理、fMRI 数据来源与配对方式、信息模型间的相关性控制、DNN 对照范围、效应量及统计检验尚未验证。复现时需核对可供性标注构建、表征相似性分析与时空融合的具体实现,以及数据和代码的可获取性;实验协议、消融及统计信息尚未验证。

阅读价值

值得阅读的具体原因是,该研究通过表征相似性分析与 EEG–fMRI 时空融合区分场景行动可供性、物体及低层视觉信息,并揭示作者所报告的 DNN 与早期 EEG 对齐不等于对行动可供性加工的充分建模。

来源:OpenReview · EEG · openreview.net