NeuroLM:连接语言与 EEG 信号的通用多任务基础模型
NeuroLM: A Universal Multi-task Foundation Model for Bridging the Gap between Language and EEG Signals
基于摘要分析。NeuroLM 针对 EEG 预训练模型通常需要在各下游任务上完整微调的问题,将 EEG 视为一种“外语”,通过离散信号编码与大语言模型(LLM)结合,探索在单一基础模型中统一多种 EEG 任务的学习与推理。 方法包含三个环节:首先,通过向量量化的时频预测学习与文本对齐的神经信号 tokenizer,将 EEG 转换为离散 neural tokens;随后冻结向量量化(VQ)编码器,将生成的 EEG tokens 输入 LLM,通过多通道自回归学习 EEG 的因果信息;最后进行多任务指令微调,以适配不同下游任务。摘要未说明文本对齐的具体目标、时频预测的损失形式、通道组织方式及指令构造细节,因此尚不能判断语言与 EEG 表征如何实现对齐,也不能将“因果信息”理解为已识别生理因果关系。 作者报告,最大版本 NeuroLM-XL 具有 1.7B 参数,并在约 25,000 小时的 EEG 语料上预训练;作者在六个不同下游数据集上评估该方法,并认为结果显示了多任务学习范式的潜力。摘要未给出数据集名称、任务组成、被试数量、划分协议、对照基线或具体指标,因此无法判断被试内、跨被试、跨会话或跨数据集条件下的效果,也无法量化其相对逐任务完整微调的收益。摘要中的“首次”和参数规模纪录属于作者声明,尚未独立核实。 复现时需核对预训练语料与下游数据的关系、VQ 编码器训练与冻结流程、多通道自回归的序列构造、多任务指令微调配置,以及各任务是否仍需额外适配。1.7B 参数与大规模预训练语料也意味着需要核对训练及部署资源,不能仅凭减少逐任务完整微调的动机认定总体计算成本更低。实验协议、消融及统计信息尚未验证,代码、权重与数据可获取性亦尚未验证。
值得核对其文本对齐 EEG 离散编码、多通道自回归与多任务指令微调如何支持单模型处理不同 EEG 任务,但相对逐任务完整微调的性能和资源收益尚未验证。
来源:OpenReview · EEG · openreview.net