EEG 基础模型的潜力与风险:论预训练的作用
Promises and Perils of EEG Foundation Models: On the Role of Pretraining
基于摘要分析。该研究考察 EEG 基础模型的预训练究竟贡献了什么,以及掩码预测或重建目标是否与不同下游任务对齐。其核心贡献是通过冻结编码器评估、信号统计量保留变换及监督项干预,区分无标签预训练表征的收益与编码器、适配协议可能带来的收益。 作者报告,在覆盖 23 种已发表编码器配置和 34 个数据集的冻结权重评估中,预训练收益具有明显任务差异:睡眠分期和临床 EEG 任务收益较大,运动想象和 ERP 任务收益较小或不存在;当分类器同时获得手工设计的频谱与协方差特征时,预训练收益几乎完全消退。这些结果限定于所研究配置及冻结权重协议,不能直接推广至全参数微调或所有 EEG 基础模型。 为分析表征依赖的信号信息,作者使用仅保留原始 EEG 部分统计量的变换信号进行预训练。作者报告,仅保留频谱与交叉频谱的变换即可复现原始 EEG 预训练的收益,但同一变换会明显损害有监督的运动想象和 ERP 解码。这提示,支撑重建预训练收益的统计信息,未必足以支撑这些解码任务。 作者进一步报告,在重建目标中加入监督项,可用相同数据学到有助于解码的表征,且对预训练目标的影响很小;移除监督后,多数已获得的解码收益消退,而重建损失变化很小。因此,在所研究配置中,良好的重建表现并不能保证获得或保留对运动想象和 ERP 解码有用的表征。 阅读与复现时应重点核对预训练数据与下游数据的关系、被试内或跨被试等划分、分类器与适配设置、手工特征的融合方式,以及统计量保留变换和监督项的具体实现。摘要未提供各任务数值指标、具体数据集名称或统计检验细节,实验协议、消融及统计信息尚未验证。
该研究通过冻结编码器评估、保留特定统计量的 EEG 预训练及监督项干预,检验预训练收益与下游任务的对齐关系,值得用于核对 EEG 基础模型的收益归因,但结论适用范围仍需结合全文实验协议确认。
来源:OpenReview · EEG · openreview.net