跳到正文
OpenReview · EEG· Tongtian Yue; Shuning Xue; Xuange Gao; Yepeng Tang; Longteng Guo; Jie Jiang; Jing Liu·· 2024-09-23AI 评分80

EEGPT:通过自回归预训练释放 EEG 通用基础模型的潜力

EEGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training

AI 导读

基于摘要分析。本文针对 EEG 数据格式异构、预训练范式及迁移方式受限的问题,提出通用 EEG 基础模型 EEGPT,将电极级建模、自回归下一信号预测和多任务迁移结合起来,旨在从单数据集专用模型走向兼容不同采集设备、被试与任务的统一模型。 核心机制方面,作者以每个电极作为基本建模单元,整合来自多种 EEG 数据集、涉及最多 138 个电极的数据,形成 37.5M 个预训练样本;摘要未说明样本的切分方式、时长及数据集构成。预训练采用下一信号预测,以替代传统掩码自编码器范式并学习序列与时间依赖,但预测单元、序列组织、损失形式及推理流程尚未验证。作者还探索模型规模规律,所研究模型最大达到 1.1B 参数;规模效应的具体曲线及训练资源尚未验证。 迁移阶段采用跨任务共享的可学习电极图网络。作者报告该机制支持多任务兼容与协同,并称模型可接受最多 138 个电极及其任意组合。需要结合全文核对电极位置与身份如何编码、不同采样率及设备如何对齐,以及任意电极组合的验证范围。 结果方面,作者报告在 5 类下游任务、12 个基准上同时评估,且在所有下游任务上均优于现有专用模型,并通过广泛消融验证有效性。摘要未提供任务与数据集名称、指标数值、对照模型或被试内、跨被试、跨会话、跨数据集划分,因此尚不能判断收益大小及不同协议下的泛化能力;实验协议、消融及统计信息尚未验证。“首个通用 EEG 基础模型”“首个自回归 EEG 预训练模型”及 EEG 研究中最大模型等均为作者主张,不视为已独立核实的结论。 复现方面,作者表示将公开训练代码和模型检查点,当前材料不能确认已发布。后续应核对预训练与下游数据划分、预处理、任务共享方式和训练成本,以区分规模、电极级表示及多任务学习各自带来的贡献。

来源:OpenReview · EEG · openreview.net