用于 MEG 的 GPT 基础模型

基于摘要分析。该研究针对脑信号领域无标签预训练进展有限的问题，提出以无标签 MEG 的时间序列预测训练基础模型，比较改造后的 Wavenet、GPT2 与线性自回归（AR）模型，并探索条件化建模、多被试适配及模拟数据辅助下游解码。 核心机制是改造 tokenisation 与 embedding，使原本面向离散语言的 GPT2 能处理连续多通道时间序列；预测框架还可将条件标签作为输入，用于任务数据的编码建模。作者通过 subject embedding 使模型适配不同被试。摘要未说明离散化或分词的具体方式、预测损失、时间窗口及预训练与下游任务的衔接流程，因此不能据此确定其具体实现。 作者报告，在所考察的 MEG 建模比较中，GPT2 模型比 Wavenet 和线性 AR 更好地再现真实数据的时间、空间、频谱特征及任务诱发活动；作者还报告模型可扩展到多个被试，并展示了通过数据模拟支持下游解码的用途。摘要未提供量化指标、数据集、被试数量、划分方式或解码任务细节，故这些结果不能直接解释为跨被试泛化或 BCI 解码性能提升。实验协议、消融及统计信息尚未验证。摘要提供了 GitHub 代码地址，但代码完整性、运行环境及数据可获取性尚未核验。 平台推测（待验证）：其连续多通道预测与被试条件化机制可能用于 EEG 自监督预训练，但 MEG 的建模效果不等于 EEG/BCI 有效性。可复用的是预测预训练框架与 subject embedding 思路；输入表示、通道布局、采样率及信号归一化需按 EEG 改造。低信噪比、通道差异和小样本可能使模型学习伪迹或被试特征，而非可迁移的任务信息。一个可检验的小实验是在固定 EEG 数据划分下，仅用训练部分进行无标签预测预训练，再比较 GPT2、Wavenet 与 AR 的留出数据预测表现，并在同一标注预算下核对下游解码收益；预处理和模型选择也应限定于训练数据。已有相关 EEG 工作尚未检索确认。