OpenReview · EEG· Carlos de la Torre-Ortiz; Tuukka Ruotsalo·· 2024-01-01精选AI 评分71
基于 EEG 的感知视觉相似性:预测与图像生成
Perceptual Visual Similarity from EEG: Prediction and Image Generation
AI 导读
该研究针对仅依赖图像数据的视觉相似性模型可能偏离人类感知的问题,提出从 EEG 学习感知视觉相似性,并将其用于视觉距离预测及图像生成。基于摘要分析,未取得论文全文。 核心机制是建立人类认知系统所反映的相似性与图像潜在表示之间的映射。研究评估两个任务:一是从 EEG 预测视觉距离;二是依据预测距离调整生成模型的潜在表示,生成与给定源图像相隔指定距离的新图像。其研究价值在于将脑信号提供的感知信息引入相似性估计,而非仅根据图像内容计算相似性;摘要未交代 EEG 特征、映射模型、训练损失、生成模型名称或潜在表示的具体调整方式。 作者报告,在所开展的实验中,EEG 预测距离与真值距离较为一致,使用预测距离生成的图像也与真值图像较为相似。摘要未提供定量指标、对照基线或统计结果,因此目前只能保留这一方向性结论,不能据此判断效果幅度或是否优于现有方法。 复现与证据核对的关键是距离真值及真值图像如何构造,以及 EEG 采集任务、被试规模、图像刺激集合、训练与测试划分和生成结果评价方式。尤其需要明确评估属于被试内、跨被试还是其他协议,以及测试图像是否独立于训练图像,才能判断其泛化范围。上述实验协议、消融及统计信息尚未验证;摘要也不足以确定感知距离映射和生成控制各自的贡献。
阅读价值
值得关注其将 EEG 所反映的感知相似性映射到图像潜在表示、并同时用于距离预测与图像生成的研究路径,但距离真值的定义和评估协议尚需全文核对。
来源:OpenReview · EEG · openreview.net