预训练目标如何塑造 EEG 表征:一项受控比较
How pretraining objectives shape EEG representations: a controlled comparison
研究针对 EEG 基础模型中数据、架构和评估差异容易混淆预训练目标作用的问题,在共享冻结 tokenizer 与 GPT-2 骨干的条件下,对掩码自编码(MAE)、自回归预测(AR)和被试级对比学习(SLCL)开展受控比较,并通过 EEG 特征与逐层探测解释不同目标形成的表征。以下基于摘要分析,未取得论文全文。 预训练数据来自四通道消费级 EEG,总计 50,894 小时。MAE 根据跨通道、跨时间的可见上下文重建被掩码的 token;AR 根据此前上下文预测后续活动;SLCL 对齐同一被试跨会话的记录。摘要未提供具体损失公式、tokenizer 训练细节、被试数量及预训练与下游数据之间的划分关系。 在七项下游任务的评估中,作者报告 MAE 在睡眠分期、年龄预测、性别分类和 EEG 事件分类上呈现最明显的性能增益,SLCL 则最擅长学习被试特异性特征;摘要未列出全部任务、具体指标、分数或完整对照。作者报告增加预训练数据通常改善下游表现,LoRA 微调大体保留了冻结表征探测下三种目标的相对表现,但不能据此认定所有任务均受益。 特征探测方面,作者报告 MAE 较强地保留 tokenizer 中的频带功率信息,并与跨通道相干性特征呈现最强相关;AR 最清晰地呈现频带功率趋势;SLCL 更偏向 alpha 峰值频率与 alpha 不对称性。作者据此将不同目标与频谱、空间及时间特征偏好联系起来,这些结果属于表征探测证据,不等同于因果机制验证。逐层探测还显示,七项任务的最高探测分数均出现在最终层之前,提示下游表征提取层的选择值得核对。 复现需确认四通道数据的构成与可用性、共享 tokenizer 的训练及冻结方式、三种目标的训练预算、下游被试内或跨被试及跨会话划分、探测器设置与 LoRA 配置。实验协议、消融及统计信息尚未验证;结果能否推广到其他通道配置、采集设备或具体 BCI 任务,也尚未验证。
该研究在共享 tokenizer 与 GPT-2 骨干的条件下比较三类预训练目标,并结合 EEG 特征及逐层探测解释差异,值得用于核对预训练目标与下游任务的匹配关系,但实验协议及统计信息尚未验证。
来源:OpenReview · EEG · openreview.net