跳到正文
OpenReview · EEG· Weibang Jiang; Yansen Wang; Bao-liang Lu; Dongsheng Li·· 2025-01-23精选AI 评分78

NeuroLM:用于弥合语言与 EEG 信号鸿沟的通用多任务基础模型

NeuroLM: A Universal Multi-task Foundation Model for Bridging the Gap between Language and EEG Signals

AI 导读

基于摘要分析。NeuroLM 针对 EEG 预训练模型往往需要为每个下游任务进行全量微调的问题,将 EEG 视为一种“外语”,利用 LLM 构建同时处理 EEG 与语言的多任务基础模型,尝试通过指令微调在单一模型中统一多种 EEG 任务。 核心流程包含三个环节:首先,通过向量量化的时频预测学习与文本对齐的神经信号 tokenizer,将 EEG 编码为离散 token;其次,冻结向量量化(VQ)编码器,将其生成的 EEG token 输入 LLM,以多通道自回归学习 EEG 的因果信息;最后,通过多任务指令微调适配下游任务。摘要未交代文本对齐的具体监督来源、时频预测目标、通道间序列组织及指令格式,这些机制细节尚未验证。这里的“因果信息”是作者对自回归学习目标的表述,不能据此理解为已识别神经生理因果关系。 规模与评估方面,作者报告最大变体 NeuroLM-XL 具有 1.7B 参数,并在约 25,000 小时 EEG 数据组成的语料上预训练;作者报告在六个不同下游数据集上的评估展示了多任务学习范式的潜力。摘要未提供数据集名称、具体任务、被试数、划分协议、对照基线或量化指标,因此尚不能判断被试内、跨被试、跨会话或跨数据集泛化能力,也不能确认相对逐任务全量微调的性能和计算资源收益。作者将该方法定位为首次借助 LLM 与指令微调统一多种 EEG 任务,这一优先性主张尚未独立核实。 复现时需要核对 tokenizer 的训练与对齐方式、预训练数据构成、多任务指令数据及各任务评估协议,并明确训练与推理所需资源。实验协议、消融及统计信息尚未验证;当前材料也不足以确认代码和权重的可用性。

阅读价值

值得关注其以离散 EEG token、多通道自回归和多任务指令微调连接 EEG 与 LLM 的具体机制,但统一模型相对逐任务全量微调的性能与资源收益尚需核对全文。

来源:OpenReview · EEG · openreview.net