跳到正文
arXiv · EEG 基础模型· Zhige Chen; Shu Peng; Chengxuan Qin; Rui Liu; Rui Yang; Kay Chen Tan; Jibin Wu·· 22 天前精选AI 评分82

EEG基础模型的大规模基准评估:来自20,000次评估的经验

Benchmarking EEG Foundation Models at Scale: Lessons from 20,000 Evaluations

AI 导读

基于摘要分析。该研究考察EEG基础模型相较强监督基线是否具有可迁移优势,以及扩大模型和预训练数据规模能否持续改善下游表现。作者提出开源评估框架EEG-Arena,覆盖30个EEG基础模型、25个监督基线,以及来自23个公开数据集的57项下游任务,在五种实验协议下开展超过20,000次评估。 评估围绕下游性能、预训练收益、模型参数规模、预训练数据规模及通道配置鲁棒性展开。作者报告,在所评估的大多数任务上,EEG基础模型优于强任务专用监督基线,尤其是在非双极设置下;与架构匹配的监督式从头训练相比,预训练同时改善早期优化与最终下游性能,且随着下游标注数据增加,收益更大、更稳定。这一结论的适用前提是摘要所述对照与评估范围,不能直接外推为所有小样本任务均有同等收益。 关于扩展规律,作者报告,现有EEG基础模型的参数量与下游性能之间未呈现一致的正向关系;而在固定架构条件下,增加预训练数据规模带来了持续的下游收益。作者还报告,在大多数受测通道配置中,通道灵活型基础模型的绝对性能高于通道受限模型。这些结果支持进一步检验数据扩展与通道适应能力的价值,但尚不足以推出单纯扩大参数规模无效,或所有通道灵活型架构均更优。 作者称已开源EEG-Arena,以提供可复现评估和模型比较的共享基础设施。摘要未列出五种协议的具体定义、任务与数据集清单、性能指标及效应大小;被试内、跨被试、跨会话或跨数据集划分、预训练与下游数据的隔离方式、适配策略、消融及统计信息尚未验证。复现时应重点核对这些条件,以及通道设置和训练预算是否足以支持相应比较;不能将不同协议下的结果直接合并解读。

阅读价值

EEG-Arena通过强监督基线、架构匹配的从头训练对照及多种评估协议,提供了核对EEG基础模型预训练收益与扩展方向的系统性证据,但具体划分、适配流程及统计可靠性仍需全文验证。

来源:arXiv · EEG 基础模型 · arxiv.org