跳到正文
OpenReview · EEG· Nona Rajabi; Antônio H. Ribeiro; Miguel Vasco; Farzaneh Taleb; Mårten Björkman; Danica Kragic·· 2025-01-01精选AI 评分75

与人类感知对齐的图像模型改善脑活动视觉解码

Human-Aligned Image Models Improve Visual Decoding from the Brain

AI 导读

基于摘要分析。该研究关注从脑活动中解码视觉图像,提出在脑信号与图像表征空间对齐的框架中使用与人类感知对齐的图像编码器,以改善脑信号到图像的映射。核心贡献是调整图像侧表征,而非摘要中明确提出新的 EEG 网络结构。 作者的假设是,这类图像编码器能更有效地捕捉视觉脑数据采集实验中快速呈现刺激所涉及的感知属性,从而提高脑信号与图像表征之间的匹配效果。摘要未说明“与人类感知对齐”的具体实现、所用监督信息、编码器训练方式,以及脑信号侧模型和对齐目标的细节。 作者报告,相较其所称的先进方法,图像检索准确率最高提升 21%;摘要未明确该数值是相对提升还是百分点变化,也未给出对应数据集、候选图像规模、数据划分和基线配置,因此不能将其视为任意评估协议下均可获得的增益。作者还报告,在不同 EEG 架构、图像编码器、对齐方法、参与者及脑成像模态上观察到一致的性能改善,但具体模态与各条件下的效果尚未验证。 复现时值得优先核对图像编码器的人类感知对齐来源,并在相同脑信号模型、训练数据和检索候选集下比较编码器替换的效果,以区分图像表征变化与其他设置带来的收益。数据集、被试数量、被试内或跨被试协议、消融及统计信息尚未验证;摘要的明确结果是图像检索改善,不宜直接扩展为图像重建质量或在线 BCI 效果的提升。

阅读价值

值得关注其以人类感知对齐的图像编码器改善脑信号—图像表征对齐的思路,但摘要所报最高 21% 的检索准确率提升仍需结合具体协议与增幅定义核对。

来源:OpenReview · EEG · openreview.net