EEG-FM-Bench:用于系统评估 EEG 基础模型的综合基准
EEG-FM-Bench: A Comprehensive Benchmark for the Systematic Evaluation of EEG Foundation Models
EEG-FM-Bench 针对 EEG 基础模型评估协议不一致、迁移效率与规模效应缺少诊断分析的问题,提出统一评估体系,将下游性能比较与梯度、表征分析结合。基于摘要分析,未取得论文全文。 基准覆盖 14 个数据集、10 种范式,纳入多种微调策略、任务组织方式和分类器配置,并提供梯度与表征分析工具。其主要贡献是评估协议与诊断框架,而非发布新的预训练模型;摘要未列出具体数据集、模型清单、被试数量及数据划分,无法判断各项比较属于被试内、跨被试、跨会话还是跨数据集协议。 作者报告,多任务学习在数据稀缺的 EEG 场景中通常可发挥正则化作用、缓解过拟合,但某些任务范式下会出现负迁移。作者还报告,重建目标与下游任务之间的梯度冲突限制了当前预训练效率。在使用已发布检查点、匹配下游评估协议的条件下,作者报告,模型规模或数据规模本身不足以充分解释迁移表现,目标对齐、适配兼容性与 EEG 专用设计似乎也是重要因素。摘要未提供具体性能指标、效应量或统计不确定性,因此这些结论不能扩展为所有 EEG 基础模型的普遍规律。 复现时需核对各模型检查点及其预训练数据覆盖、下游划分与微调预算、分类器配置,以及梯度冲突和表征分析的定义。材料提供了代码地址,但代码内容、实验协议、消融及统计信息尚未验证。该基准可作为比较 EEG 基础模型迁移表现的评估起点,其对具体 BCI 任务的适用范围仍需结合所覆盖范式与协议判断。
值得阅读的具体价值在于统一 EEG 基础模型的下游评估配置,并结合梯度与表征分析检验迁移差异,而非仅按模型或预训练数据规模比较性能;协议细节与结论稳健性尚待全文核对。
来源:OpenReview · EEG · openreview.net