跳到正文
OpenReview · EEG·· 2026-09-09精选AI 评分77

连接层级:用于视觉神经解码的神经启发式层级感知对齐

Bridging the Hierarchies: Neuro-Inspired Hierarchy-Aware Alignment for Visual Neural Decoding

AI 导读

基于摘要分析。该研究面向从 EEG、MEG 神经信号检索所感知图像的视觉神经解码任务,提出 Neuro-Inspired Hierarchy-Aware Alignment(NIA),尝试同时建立神经与视觉表征的跨层级对应,并建模两类表征各自从浅层到深层的信息传播。 作者认为,既有方法主要在选定语义层面对齐神经与视觉表征,未充分捕捉两套表征层级的整体对应关系,也未充分建模各层级之间的渐进传播。NIA 集成 Hierarchy-Partitioned Channel Transformer(HPCT)、Hierarchy-Matched Contrastive Learning(HMCL)和 Parallel Dual-Hierarchy Cascade(PDHC),分别用于组织神经表征层级、建立层级匹配关系,以及建模双层级内部的浅到深传播。摘要未提供层级划分依据、视觉特征来源、对比学习损失形式或级联的具体实现,尚不能判断其表征层级与生物视觉加工层级的对应程度。 作者报告,在 THINGS-EEG2 和 THINGS-MEG 上取得领先的零样本脑信号到图像检索结果。其中,在 THINGS-EEG2 的 Within-subject(被试内)设置下,Top-1/Top-5 Accuracy 分别提升 9.5/1.3 个百分点;在 Cross-subject(跨被试)设置下,分别提升 9.9/10.0 个百分点。摘要未明确这些增益对应的具体基线,也未给出绝对 Accuracy、候选图像规模及数据划分,因此不能据此直接比较不同协议的性能。THINGS-MEG 的具体指标未在所给材料中列出。 阅读与复现时应重点核对零样本的定义、训练与测试刺激的划分、跨被试评估方式,以及各模块的消融能否支持作者对层级对应和渐进传播作用的解释。实验协议、消融及统计信息尚未验证;代码、计算资源和完整复现条件亦需查阅全文确认。

阅读价值

值得核对的是 NIA 如何将神经—视觉表征的分层对应与层级内渐进传播结合,以及两者能否分别解释作者报告的被试内和跨被试零样本检索增益。

来源:OpenReview · EEG · openreview.net