自然视听事件神经加工的空间与时间特征
Neural Processing of Naturalistic Audiovisual Events in Space and Time
基于摘要分析。研究关注人在感知自然视听事件时,不同层级信息由哪些脑区、在何时处理。作者整理自然视频,在参与者观看配有声音的视频时记录 fMRI 和 EEG,并通过 EEG-fMRI 融合及与双分支深度神经网络的表征比较,刻画视听加工的时空组织。 作者报告,在所用自然视听刺激与神经表征分析条件下,早期跨模态交互具有不对称性:早期视觉区与听觉区均可表征声学信息,而视觉信息仅在视觉皮层中被识别。视觉与听觉特征的加工起始时间相近,但后续时间动态不同。较高层级的类别与语义信息则较晚出现在多模态联合区,作者据此提出,晚期跨模态整合承担汇聚概念信息的作用。摘要未提供具体潜伏期、效应量或统计指标,不能量化上述时空差异。 模型分析方面,作者将神经表征与双分支深度神经网络模型进行比较,并据此强调早期融合对于构建具有生物学合理性的视听感知模型的重要性。这是作者对感知机制及模型合理性的结论,不等于早期融合在 EEG 解码或 BCI 任务中已获得性能优势。双分支的具体结构、融合位置、训练目标,以及表征比较和 EEG-fMRI 融合的计算方法尚未验证。 该研究的主要对象是自然视听感知的神经机制,而非 BCI 算法。复现与证据核对需要全文中的刺激构成、被试数、采集安排、预处理、脑区定义、时间分析、模型对照及数据划分;实验协议、消融及统计信息尚未验证。摘要也未说明数据、刺激或实现是否公开。
值得阅读的具体原因是,作者结合 EEG-fMRI 融合与双分支深度神经网络表征比较,研究自然视听事件的早期跨模态交互与晚期概念整合,为核对视听感知模型的时空对应关系提供依据,但不构成 BCI 性能验证。
来源:OpenReview · EEG · openreview.net