PATCHCODE:面向 EEG 基础模型的离散潜在预测学习
PATCHCODE: Discrete Latent Predictive Learning for EEG Foundation Model
基于摘要分析。PATCHCODE 针对 EEG 基础模型预训练中高频噪声与较大跨被试变异的问题,提出区域感知的离散预测学习框架:保留连续 EEG 作为编码器输入,同时以离散编码提供监督,尝试降低对随机波形波动的敏感性,学习可迁移表征。 核心机制是双粒度学习。掩码预测编码器接收连续 EEG patches,一方面预测缺失 patch 的表征,以保留细粒度时空结构;另一方面将这些表征与冻结 tokenizer 生成的离散编码目标对齐,以锚定更稳定的语义。与摘要所述以波形重建为学习信号的 masked autoencoding 或 autoregressive modeling 相比,其关键区别在于输入仍连续,而预测监督引入离散目标。区域感知编码如何构建、tokenizer 如何训练、两类目标的损失形式及权重尚未验证。 作者报告,在涵盖情绪识别、运动想象、睡眠分期、癫痫发作检测、警觉度估计、压力检测与临床诊断的十六个下游数据集上,PATCHCODE 相对最先进基线取得具有竞争力的表现,并在有限标签条件下获得明显的数据效率收益。摘要未提供数据集名称、被试规模、具体指标、标签比例或基线分数,不能据此判断各任务的收益幅度,也不能确认结果对应被试内、跨被试、跨会话或跨数据集协议。 复现时应重点核对预训练与下游数据的划分、区域定义对不同通道布局的适配方式,以及连续表征预测和离散目标对齐各自的贡献;低信噪比下离散编码是否稳定、是否保留任务相关的细微变化,也需结合正文实验判断。摘要提供了代码地址,但实现内容、预训练权重与运行条件尚未核验;实验协议、消融及统计信息尚未验证。
值得核对其连续 EEG 输入与离散监督目标结合的双粒度预训练机制,尤其是区域感知编码是否能在有限标签条件下提高数据效率,而非仅改善波形重建。
来源:OpenReview · EEG · openreview.net