EEGPT:通过自回归预训练释放 EEG 通用基础模型的潜力
EEGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training
EEGPT 针对 EEG 数据格式多样、预训练范式与迁移方法受限的问题,结合电极级建模、自回归预训练和多任务迁移,旨在构建可适配不同采集设备、被试与任务的通用 EEG 基础模型。基于摘要分析,未取得论文全文。 核心机制:作者将每个电极作为基本建模单元,以整合不同电极配置的 EEG 数据;摘要称预训练数据涉及最多 138 个电极,共计 37.5M 个预训练样本,但样本单位、切片方式及数据组成尚未验证。预训练采用 next signal prediction,而非传统 masked autoencoder,目标是捕捉 EEG 的序列与时间依赖;具体预测粒度、序列组织、损失函数与推理流程尚未验证。作者还探索了参数规模最高为 1.1B 的模型的 scaling laws,但摘要未提供规模与性能之间的定量关系。 迁移机制:作者提出跨任务共享的可学习电极图网络,用于多任务迁移学习,并报告任务间具有兼容性与协同作用。摘要称模型支持最多 138 个电极及其任意组合输入;电极身份编码、不同设备的输入对齐方式、缺失电极处理和任务特定模块仍需核对正文。 结果与证据边界:作者报告在覆盖 5 个不同任务的 12 个 benchmarks 上进行评估,并在全部下游任务中优于现有专用模型,同时称广泛消融支持其有效性。摘要未列出任务与数据集名称、被试数、被试内或跨被试等划分协议、基线、指标及数值,因此不能据此量化优势,也不能确认跨设备、跨被试适配的具体评估前提。实验协议、消融及统计信息尚未验证。 复现重点是核对异构数据整合规则、自回归目标与电极图迁移各自的贡献,以及预训练数据和下游评估的关系。摘要中的“首次”及“最大”等表述属于作者主张,尚未独立核实。作者表示将发布代码和模型,当前材料不能确认其已公开。
值得核对其电极级建模、自回归预训练与共享电极图的多任务迁移如何协同处理异构 EEG,并复现作者报告的跨任务优势;具体划分、对照与统计证据尚未验证。
来源:OpenReview · EEG · openreview.net