跳到正文
OpenReview · EEG· Xiaoya Fan; Yuntao Liu; Zhong Wang·· 2024-01-01精选AI 评分72

脑电信号辅助少样本学习

Electroencephalogram Helps Few-Shot Learning

AI 导读

基于摘要分析。该研究面向少样本图像分类,探索能否利用 EEG 相关特征辅助机器从少量图像样本中泛化;其主要贡献是通过图像与 EEG 的多模态对比学习获取可迁移知识,再用于新类别的图像编码器微调,而非直接进行 EEG 分类或 BCI 控制。 方法分为两个阶段:首先,在具有大量标签的辅助数据集上,对图像与 EEG 信号进行多模态对比学习;随后,使用仅含少量样本的新类别微调图像编码器。作者将这一流程分别整合到 Triplet 和 ProxyNCA 框架中。摘要未说明图像与 EEG 的配对方式、EEG 特征提取方式、具体对比损失,以及微调与推理阶段是否仍需 EEG。 作者报告,在摘要所述少样本图像分类实验中,相较原始 Triplet 和 ProxyNCA 方法,top-1 recall 分别平均提升 6.1% 和 8.5%。摘要未明确这些数值指相对增幅还是百分点差,也未给出类别划分、每类样本数及平均所覆盖的实验条件,因此不能据此推断其他协议下的收益。 该研究的价值在于检验脑信号能否作为图像表征学习的辅助信息;作者将结果解释为利用脑信号增强少样本学习的可行性证据,但这尚不等于证明 EEG 捕获了人类少样本泛化机制,也不构成 EEG 解码性能改善的证据。数据集、被试数量、训练测试划分、对照条件、消融及统计信息尚未验证;尤其需要核对 EEG 辅助信息相对于其他辅助监督的独立贡献,以及跨被试稳定性与采集条件对结果的影响。

阅读价值

值得关注其利用 EEG—图像对比学习向图像编码器迁移辅助知识的两阶段路径,但性能增益的具体评估协议及 EEG 的独立贡献尚待全文核验。

来源:OpenReview · EEG · openreview.net