认知监督的显著性检测:EEG 信号与视觉刺激的对比学习
Cognition-Supervised Saliency Detection: Contrasting EEG Signals and Visual Stimuli
基于摘要分析。该研究针对视觉内容中语义显著性监督依赖大量人工标注的问题,提出利用自然视觉感知过程中采集的 EEG 响应监督表示学习,通过 EEG 与视觉刺激的对比学习对齐,学习贴近人类认知的视觉表征。其主要研究对象是认知监督的视觉语义显著性与跨模态表示学习,而非直接面向 BCI 控制任务。 核心机制是把 EEG 作为视觉刺激所引发的认知响应信号,与图像共同用于对比学习。作者称该过程无需人工标注;但 EEG 与图像的具体配对方式、正负样本构造、编码器结构、损失形式,以及是否采用预训练视觉模型,摘要均未说明,尚未验证。应区分“无需人工标注”与“无需监督信息”:此方法仍依赖采集并关联视觉刺激与 EEG 响应。 作者报告,所学表征与以人为中心的视觉显著性概念较为一致,并在图像分类和生成等下游任务中取得竞争性表现。摘要未提供显著性的评估定义、任务数据集、指标、对照基线或具体数值,因此尚不能判断改善幅度及不同任务之间的可比性。 作者另介绍了包含 30 名参与者的开放 EEG/image 数据集,用于多模态数据分析、感知研究和跨模态表示学习;刺激规模、采集与预处理流程、数据获取条件,以及被试内、跨被试或跨会话划分尚未验证。复现时值得核对刺激与 EEG 的对应关系、训练与测试划分、认知显著性评估依据,以及结果对被试差异和 EEG 噪声的敏感性。实验协议、消融及统计信息尚未验证,不能据此认定其已具备跨被试泛化能力或 BCI 应用有效性。
值得核对其 EEG—视觉对比学习如何将自然视觉感知中的认知响应转化为语义显著性监督,以及所发布数据集能否支持跨被试复现;摘要中的竞争性表现尚待具体协议和指标验证。
来源:OpenReview · EEG · openreview.net