EEG-FM-Bench:用于 EEG 基础模型系统评估与诊断分析的综合基准
EEG-FM-Bench: A Comprehensive Benchmark for the Systematic Evaluation and Diagnostic Analyses of EEG Foundation Models
基于摘要分析。研究针对 EEG 基础模型评估协议不一致、迁移效率与规模效应缺乏诊断的问题,提出 EEG-FM-Bench,将标准化下游评估与梯度、表征分析整合为统一基准,以支持模型比较和可复现分析。 基准覆盖 14 个数据集、10 种范式,包含多种微调策略、任务组织方式和分类器配置。摘要未列出具体数据集、模型清单、被试数量,以及被试内、跨被试或跨会话划分,因此这些覆盖数量不能直接说明其对不同泛化场景的代表性。 作者报告,多任务学习在数据稀缺的 EEG 场景中常可作为正则化手段缓解过拟合,但特定任务范式下可能出现负迁移;重建目标与下游任务之间的梯度冲突限制了当前预训练效率。作者还报告,在已发布检查点和匹配的下游协议下,模型规模或数据规模本身不足以完全解释迁移表现,目标对齐、适配兼容性及 EEG 特定设计似乎也是重要因素。这些结论应限定于所评估的检查点与协议,不能据此推断扩大规模普遍无效;摘要未提供具体性能指标或效应量。 复现时值得核对各模型输入与通道处理、微调预算、分类器配置及数据划分如何匹配,并检查梯度冲突的测量方法、表征诊断与迁移结果之间的证据关系。作者提供了代码地址,但代码可运行性、实验协议、消融及统计信息尚未验证。
值得阅读和复现的是其统一下游评估与梯度、表征诊断框架,可用于核对 EEG 基础模型的迁移差异是否与目标对齐和适配方式有关,但具体协议及诊断证据尚未验证。
来源:OpenReview · EEG · openreview.net