跳到正文

算法、任务与模态

Foundation Model 最新动态

Foundation Model 研究索引；按可核对的标签归档，不以热度评价质量。

107 条精选近 30 天 68 条共收录 121 条

更新

精选归档 · 第 6 页

1月23日周四第 101–107 条
  1. OpenReview · EEG78

    NeuroLM：用于弥合语言与 EEG 信号鸿沟的通用多任务基础模型

    基于摘要分析。NeuroLM 针对 EEG 预训练模型往往需要为每个下游任务进行全量微调的问题，将 EEG 视为一种“外语”，利用 LLM 构建同时处理 EEG 与语言的多任务基础模型，尝试通过指令微调在单一模型中统一多种 EEG 任务。 核心流程包含三个环节：首先，通过向量量化的时频预测学习与文本对齐的神经信号 tokenizer，将 EEG 编码为离散 token；其次，冻结向量量化（VQ）编码器，将其生成的 EEG token 输入 LLM，以多通道自回归学习 EEG 的因果信息；最后，通过多任务指令微调适配下游任务。摘要未交代文本对齐的具体监督来源、时频预测目标、通道间序列组织及指令格式，这些机制细节尚未验证。这里的“因果信息”是作者对自回归学习目标的表述，不能据此理解为已识别神经生理因果关系。 规模与评估方面，作者报告最大变体 NeuroLM-XL 具有 1.7B 参数，并在约 25,000 小时 EEG 数据组成的语料上预训练；作者报告在六个不同下游数据集上的评估展示了多任务学习范式的潜力。摘要未提供数据集名称、具体任务、被试数、划分协议、对照基线或量化指标，因此尚不能判断被试内、跨被试、跨会话或跨数据集泛化能力，也不能确认相对逐任务全量微调的性能和计算资源收益。作者将该方法定位为首次借助 LLM 与指令微调统一多种 EEG 任务，这一优先性主张尚未独立核实。 复现时需要核对 tokenizer 的训练与对齐方式、预训练数据构成、多任务指令数据及各任务评估协议，并明确训练与推理所需资源。实验协议、消融及统计信息尚未验证；当前材料也不足以确认代码和权重的可用性。

    阅读价值：值得关注其以离散 EEG token、多通道自回归和多任务指令微调连接 EEG 与 LLM 的具体机制，但统一模型相对逐任务全量微调的性能与资源收益尚需核对全文。

1月1日周三
  1. OpenReview · EEG75

    CodeBrain：融合解耦分词器与多尺度架构的 EEG 基础模型

    基于摘要分析。CodeBrain 针对 EEG 通道配置、序列长度和任务目标差异带来的模型迁移困难，提出结合解耦分词器与多尺度架构的 EEG 基础模型，以两阶段训练学习通用表征。 第一阶段，TFDual-Tokenizer 独立对异质的时域和频域成分进行离散编码。作者称该设计可使离散表征空间获得二次方级扩展，并通过跨域 token 分析提供一定可解释性；具体码本规模、组合方式、分词器训练目标及解释性验证尚未验证。第二阶段，EEGSSM 将结构化全局卷积与滑动窗口注意力结合，分别覆盖稀疏长程依赖和局部依赖，并以掩码自监督学习预测 TFDual-Tokenizer 产生的 token 索引。 相较全连接 Transformer，作者认为 EEGSSM 更符合脑组织的小世界拓扑，能够高效捕捉 EEG 的多尺度结构。这是作者对架构的机制解释，尚不能仅凭摘要认定其具有经验证的生物学对应关系或明确的计算效率优势。 作者报告，在 10 个公开 EEG 数据集上采用线性探测评估，实验支持 CodeBrain 的泛化能力。摘要未列出数据集名称、任务、指标、基线或数据划分，因此不能判断这些结果分别对应被试内、跨被试、跨会话还是跨数据集协议，也不能量化性能提升。需进一步核对预训练与下游评估的数据关系、通道差异处理方式，以及解耦分词器和全局—局部架构各自的贡献；实验协议、消融及统计信息尚未验证。 复现方面，摘要说明代码和预训练权重将在未来版本发布，当前材料不足以确认可用实现。复现还需核对预处理流程、掩码策略、码本设置、预训练数据组成及线性探测配置。

    阅读价值：值得关注其时域与频域解耦离散表征及全局—局部依赖建模的组合机制，但跨数据集泛化的具体协议、效率收益与拓扑解释仍需全文核对，代码和预训练权重尚待发布。

  2. OpenReview · EEG75

    CodeBrain：结合解耦 Tokenizer 与多尺度架构的 EEG 基础模型

    基于摘要分析。CodeBrain 面向通道配置、序列长度和任务目标差异导致的 EEG 模型迁移困难，提出将时频解耦 Tokenizer 与多尺度架构结合的两阶段 EEG 基础模型，以增强异质信号表征和长短程依赖建模。 第一阶段，TFDual-Tokenizer 分别对时间与频率成分进行离散化。作者称，这种解耦方式使离散表征空间获得平方级扩展，并可通过跨域 token 分析提供一定可解释性；具体码本配置、组合方式及解释性验证尚未验证。第二阶段，EEGSSM 将结构化全局卷积与滑动窗口注意力结合，用于联合建模稀疏长程依赖和局部依赖，并以掩码自监督目标预测 TFDual-Tokenizer 生成的 token 索引。摘要未给出具体损失形式、掩码策略或训练规模。 相较于全连接 Transformer，作者将 EEGSSM 的设计解释为更贴近脑网络的小世界拓扑，并更高效地捕捉 EEG 的多尺度结构。这是作者的结构动机与结论，尚不能据此认定模型已验证真实脑连接结构，或在计算开销上具有确定优势。 作者报告，在 10 个公开 EEG 数据集上采用 linear probing 评估，结果支持 CodeBrain 的泛化能力。摘要未提供数据集名称、任务、被试数量、划分方式、对照基线和指标数值，因此无法判断其证据对应被试内、跨被试、跨会话还是跨数据集泛化，也不能直接比较不同协议下的性能。 复现时需核对时频解耦与多尺度模块各自的贡献、不同通道配置和序列长度的处理方式，以及预训练与下游评估的数据关系。实验协议、消融及统计信息尚未验证。作者表示代码与预训练权重将在未来版本发布；当前材料不能确认其已公开，也不能据此归类为模型或软件发布。

    阅读价值：值得阅读其时频解耦离散表征与全局—局部依赖建模的组合机制，但作者所述泛化能力与效率优势仍需结合完整评估协议、消融及资源开销核对。

10月11日周五
  1. OpenReview · State space models75

    重新思考时间序列基础模型：元数据与状态空间模型视角

    基于摘要分析。本文研究通用时间序列基础模型（TSFM）如何利用元数据应对数据异质性，以及状态空间模型（SSM）相较 Transformer 是否更适合时间序列预测；主要贡献是比较元数据整合方法与两类架构，并考察实际时间戳的作用。 研究动机是：原始时间序列未必能充分反映数据生成过程与传感装置的信息，因此仅依靠数值序列可能不足以实现准确预测。论文围绕元数据整合方法的公平比较，以及 SSM 与 Transformer 的预测效果比较展开；摘要未说明时间戳的编码方式、元数据融合位置、模型结构或训练目标。 作者报告，在覆盖 11 个数据集的实验中，结果支持使用 SSM 构建模块及引入实际时间戳。在作者整理的域内与域外数据集上，结合时间戳的 SSM 方法在预测任务中优于三个现有 TSFM，同时使用少 6,000 倍的可训练参数和少 10 倍的训练数据。该结论限定于所述预测评估，不能直接视为 EEG 解码或 BCI 性能证据；具体数据集、指标、划分、基线名称、参数统计范围及训练数据计量方式尚未验证。摘要提及 TSFM 的零样本与少样本能力作为背景，但未明确上述结果对应何种适配协议。 平台推测（待验证）：若 EEG 预测任务存在不规则采样或跨会话时间信息差异，显式时间戳与 SSM 序列建模可能具有可检验的对应关系。这一假设依赖可靠的时间元数据与足够的预训练数据；可借鉴时间戳整合思路和 SSM 模块，但需改造多通道输入、通道标识及任务输出。低信噪比、被试差异、通道配置变化与小数据条件都可能使原领域优势失效。一个小规模检验是在同一 EEG 预测任务与固定跨会话划分下，对比有无时间戳的 SSM 与参数量匹配的 Transformer，统一训练数据量、预测窗口及指标。已有 EEG 相关工作尚未检索确认，全文实验协议、消融及统计信息尚未验证。

    阅读价值：值得阅读其元数据整合与 SSM、Transformer 的对照设计，尤其是实际时间戳在域内及域外预测中的作用，但参数与训练数据效率结论仍需结合全文协议核对。

9月26日周四
  1. OpenReview · EEG76

    以大型时空 Transformer 为基础模型学习鲁棒 EEG 表征

    基于摘要分析。研究针对 EEG 基础模型难以适应不同记录配置、BCI 控制范式及有限标注数据的问题，提出时空 EEG Transformer（ST-EEGFormer），通过自监督预训练与下游微调学习可迁移的 EEG 表征。其主要贡献是将不同通道配置和信号时长的建模，与跨 MI、P300、SSVEP 范式的适应性评估结合起来。 方法将原始 EEG 切分为片段（patches），投影到嵌入空间，并加入空间与时间嵌入。作者以掩码自编码器（MAE）任务进行自监督预训练，预训练数据由六个公开运动想象（MI）数据集、一个公开 P300 数据集和一个公开稳态视觉诱发电位（SSVEP）数据集组成。摘要未提供片段长度、空间位置编码方式、掩码策略、重建目标细节或模型规模，尚不能确认其处理不同通道配置的具体实现条件。 评估包括预训练所涉及八个数据集上的下游分类微调，以及两个未参与预训练的公开数据集：癫痫发作分类数据集和在线 MI BCI 数据集。对照模型包括简单线性模型、EEGNet、监督学习模型 EEG Conformer，以及基础模型 BIOT 和 Large Brain Model（LaBraM）。作者报告，预训练后的 ST-EEGFormer 在八个预训练数据集的下游分类中均取得高于所比较模型的 Accuracy，并在新数据集、有限训练数据条件下表现出较强泛化能力；摘要未给出具体数值或有限数据的规模。 这些结果支持进一步核查统一时空表征与 MAE 预训练的适应性，但不能直接解释为已验证的跨被试、跨会话或无需微调的泛化。数据集名称、被试数、训练与测试划分、预训练与评估样本的关系、各基线微调预算、消融及统计信息尚未验证。作者还提供模型及支撑结果的特征可视化，其解释性结论需结合正文审阅；代码、权重与完整复现条件尚未验证。

    阅读价值：值得阅读其跨 MI、P300 与 SSVEP 范式的统一预训练设计，以及在未参与预训练的数据集上检验有限训练数据条件下泛化能力的实验；作者报告的优势仍需结合具体划分、微调预算与统计结果核对。

1月1日周一
  1. OpenReview · EEG79

    EEGPT：通过自回归预训练释放 EEG 通用基础模型的潜力

    EEGPT 针对 EEG 数据格式多样、预训练范式与迁移方法受限的问题，结合电极级建模、自回归预训练和多任务迁移，旨在构建可适配不同采集设备、被试与任务的通用 EEG 基础模型。基于摘要分析，未取得论文全文。 核心机制：作者将每个电极作为基本建模单元，以整合不同电极配置的 EEG 数据；摘要称预训练数据涉及最多 138 个电极，共计 37.5M 个预训练样本，但样本单位、切片方式及数据组成尚未验证。预训练采用 next signal prediction，而非传统 masked autoencoder，目标是捕捉 EEG 的序列与时间依赖；具体预测粒度、序列组织、损失函数与推理流程尚未验证。作者还探索了参数规模最高为 1.1B 的模型的 scaling laws，但摘要未提供规模与性能之间的定量关系。 迁移机制：作者提出跨任务共享的可学习电极图网络，用于多任务迁移学习，并报告任务间具有兼容性与协同作用。摘要称模型支持最多 138 个电极及其任意组合输入；电极身份编码、不同设备的输入对齐方式、缺失电极处理和任务特定模块仍需核对正文。 结果与证据边界：作者报告在覆盖 5 个不同任务的 12 个 benchmarks 上进行评估，并在全部下游任务中优于现有专用模型，同时称广泛消融支持其有效性。摘要未列出任务与数据集名称、被试数、被试内或跨被试等划分协议、基线、指标及数值，因此不能据此量化优势，也不能确认跨设备、跨被试适配的具体评估前提。实验协议、消融及统计信息尚未验证。 复现重点是核对异构数据整合规则、自回归目标与电极图迁移各自的贡献，以及预训练数据和下游评估的关系。摘要中的“首次”及“最大”等表述属于作者主张，尚未独立核实。作者表示将发布代码和模型，当前材料不能确认其已公开。

    阅读价值：值得核对其电极级建模、自回归预训练与共享电极图的多任务迁移如何协同处理异构 EEG，并复现作者报告的跨任务优势；具体划分、对照与统计证据尚未验证。

  2. OpenReview · State space models74

    Mamba-CL：在零空间中优化选择性状态空间模型以实现持续学习

    基于摘要分析。该研究面向持续学习中的灾难性遗忘，提出 Mamba-CL，通过在历史任务特征子空间的正交方向更新参数，持续微调大规模 Mamba 基础模型的核心 SSM，力求保留既有知识并学习新任务。 核心机制是将参数更新限制在历史特征子空间对应的零空间内。作者围绕 Mamba 的四个关键时不变参数推导整体一致性约束，处理 SSM 的递归状态空间结构与非线性离散化过程，再以零空间投影实现正交更新。作者声称，该方法在理论上保证各 SSM 模块在先前与当前任务上的输出一致性目标；具体保证的假设、约束范围，以及模块级一致性如何对应最终任务性能，需结合全文核对。 作者报告，在四个类别增量学习基准上，Mamba-CL 展现出抗遗忘效果，性能优于所比较的先进方法。摘要未提供基准名称、任务序列、数据划分、指标或具体数值，因此无法判断提升幅度及不同协议下的可比性。实验协议、消融及统计信息尚未验证。摘要称代码位于补充材料中，但其可获取性、运行配置与复现要求尚未核对。 平台推测（待验证）：该机制可能对应 EEG 持续学习中新增类别或连续会话更新引起的遗忘，但依赖历史特征子空间能稳定表征需保留的知识。可复用的是零空间投影与参数一致性约束；需改造的是 EEG 时序输入、通道适配和特征子空间估计。低信噪比、跨被试差异、通道变化及小样本可能使子空间估计不稳定，或过度限制更新、妨碍新任务学习。一个可检验的假设是：在固定 EEG 类别增量协议下，使用相同 Mamba 骨干与数据划分，对照普通顺序微调和零空间约束更新，检验历史类别 Accuracy 的保留是否以新类别学习能力下降为代价。上述迁移不属于本文已验证结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其针对 Mamba 核心 SSM 参数推导的一致性约束与零空间投影实现，尤其是理论保证的适用条件及抗遗忘与新任务学习能力之间的权衡。