跳到正文
arXiv · EEG 基础模型· Pierre Guetschel; Bruno Aristimunha; Yassine El Ouahidi; Arnaud Delorme; Thomas Moreau; Michael Tangermann·· 22 天前精选AI 评分81

哪种掩码几何最适合 EEG 基础模型?

What masking geometry works best for EEG foundation models?

AI 导读

基于摘要分析。该研究关注 EEG 基础模型预训练中的时空掩码设计,尝试将掩码策略的影响与骨干网络、学习目标的变化分离。作者形式化描述时空掩码的设计选择,在统一管线下分别使用 MAE 和 JEPA 两种自监督框架,比较不同掩码配置对下游表征能力的影响。 掩码策略决定模型需要预测什么,以及能够依赖哪些上下文。研究的主要价值在于围绕这一变量进行受控比较,而非将新掩码、新骨干网络和新目标同时打包评估。摘要未提供具体掩码几何、掩码比例、预测目标及两种框架的实现细节,因此尚不能据此推荐某个可直接复现的配置。 作者报告,共评估了 58 个预训练模型,采用线性探针在 OpenEEGBench 的 12 个数据集上测试;MAE 与 JEPA 对最优掩码配置及共同失效模式给出一致结论。作者同时报告,除失效配置外,表现具有一定稳健性:11 种 MAE 配置和 9 种 JEPA 配置与各自最佳结果在统计上无法区分。这不等于这些配置已被证明等效,仍需核对统计检验、效应量与多重比较处理。 作者还报告一种 JEPA 特有的失效模式,称为 bias-inflation collapse,且标准检测方法无法发现;其形成机制、检测判据及影响范围尚未验证。在选择合适掩码后,作者报告该管线可用 REVE 预训练计算量的一小部分达到 REVE 水平的下游表现,但摘要未给出具体指标、计算量或对照设置。 复现时需核对预训练数据及其与评估数据的关系、被试内或跨被试等划分协议、线性探针训练方式、最优掩码参数和坍塌检测方法。实验协议、消融及统计信息尚未验证;现有摘要结论不能直接外推至端到端微调或在线 BCI 场景。

阅读价值

该研究在统一预训练管线中对照掩码配置,并覆盖 MAE 与 JEPA,值得用于核对 EEG 基础模型的掩码选择及 JEPA 特有坍塌风险,但具体最优配置、统计协议与计算成本尚需全文验证。

来源:arXiv · EEG 基础模型 · arxiv.org