Mind's Eye：通过多模态相似性保持对比学习实现基于 EEG 的图像识别

基于摘要分析。研究面向非侵入式 EEG 中视觉信息的解码，提出 MUltimodal Similarity-keeping contrastivE learning（MUSE）框架，用于零样本 EEG 图像分类，尝试应对 EEG 信噪比低与非平稳性带来的困难。 方法以 EEG–Image 多模态对齐为核心，开发了一系列面向 EEG 的多变量时间序列编码器，并在一个大规模视觉 EEG 数据集上评估正则化对比预训练。相似性保持是框架的关键设计方向，但摘要未说明相似性的定义、正则项形式、编码器结构、图像表征来源及推理时的匹配规则，尚不能据此重建完整训练流程。 作者报告，在 200 类零样本图像分类任务中，top-1 Accuracy 为 19.3%，top-5 Accuracy 为 48.8%，并声称达到当时的最先进性能。该结果的被试内或跨被试设置、训练与测试类别划分、数据集名称、被试数量及对照基线尚未验证，不能直接与不同协议下的 EEG 分类成绩比较。需进一步核对零样本评估具体针对未见类别、图像还是其他划分条件，以及相似性保持约束相对于常规对比学习的增益。 作者还通过模型解释可视化神经模式，以分析脑视觉加工动态；摘要未提供解释方法及其生理验证依据，因此这些可视化不宜直接视为已确证的脑机制。材料提供了 MUSE_EEG 代码仓库链接，可作为复现入口，但代码完整性、数据获取条件、实验协议、消融及统计信息尚未验证。