跳到正文

算法、任务与模态

Foundation Model 最新动态

Foundation Model 研究索引；按可核对的标签归档，不以热度评价质量。

203 条精选近 30 天 94 条共收录 232 条

更新

精选归档 · 第 11 页

1月1日周一第 201–203 条
  1. OpenReview · EEG77

    VIT-LENS：面向全模态表征

    基于摘要分析。VIT-LENS 研究如何在新模态数据有限、难以重复视觉与语言模型大规模训练的条件下，借助预训练 ViT 学习全模态表征。其核心贡献是用模态专用 lens 将输入映射到中间嵌入空间，再由具有预训练视觉知识的 ViT 编码，并将输出对齐到现成基础模型预先定义的模态无关空间。 机制上，lens 承担不同输入结构到共享编码器接口的适配，ViT 提供可复用的视觉预训练知识，表征对齐则支持不同模态接入共同的下游能力。作者强调参数与数据效率，以及模态对齐和共享 ViT 参数带来的下游能力；摘要未说明具体损失形式、监督信号、训练数据配对方式、ViT 是否冻结及可训练参数规模。 研究对象包括 3D point cloud、depth、audio、tactile 和 EEG，而非仅针对 EEG 或 BCI。作者报告在包括零样本分类在内的多种理解任务上取得新的最优结果，并通过集成多模态基础模型，实现零样本的任意模态到文本与图像生成。但摘要没有逐模态结果，不能将这些总体结论直接归为 EEG 的已验证效果。EEG 数据集、被试数量、被试内或跨被试划分、基线、指标、消融及统计信息尚未验证。摘要提供了代码与模型仓库，具体 EEG 实现和复现配置仍需核对。 平台推测（待验证）：这一机制可能为 EEG 小数据条件下复用非 EEG 预训练表征提供路径。可复用部分是共享 ViT 与对齐接口，需改造部分是适应 EEG 时序、通道布局和采样差异的 lens；其可行性取决于可用监督或跨模态对应关系。低信噪比、跨被试差异及通道变化可能使视觉先验难以迁移，也可能使对齐保留语义却损失任务相关神经信息。一个可检验的小实验是在固定 EEG 数据划分、相同 lens 和训练预算下，对比预训练 ViT 与随机初始化 ViT，并分别报告被试内、跨被试结果，以检验视觉预训练是否带来稳定增益。其他相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读其通过模态专用 lens 复用预训练 ViT 并对齐共享表征空间的机制，但摘要未提供 EEG 的具体任务、评估协议和结果，尚不能据此判断其 BCI 有效性。

  2. OpenReview · EEG74

    FoME：采用自适应时间–横向注意力缩放的 EEG 基础模型

    基于摘要分析。FoME 面向 EEG 信号异质性、低信噪比及标注数据有限的问题，提出结合时频融合嵌入与自适应时间–横向注意力缩放的 EEG 基础模型，旨在统一建模不同数据流中的时间、频谱和多通道信息。 核心机制包括 time-frequency fusion embedding 和 adaptive time-lateral attention scaling（ATLAS）。作者称，前者融合时间与频率信息，后者使注意力机制适应不同 EEG 数据流的模式变化，两者共同支持复杂 EEG 动态和多通道建模。摘要未给出融合方式、注意力缩放公式、预训练目标或训练损失，尚不能据此判断其具体实现及各组件的独立贡献。 预训练方面，作者报告使用包含头皮 EEG 与颅内 EEG 记录的多样化数据，规模为 1.7 TB；模型包含 745M 参数，训练 1,096k 步。摘要未说明数据集名称、被试构成、通道配置、采样率或预处理方式，也未明确不同记录类型如何统一表示。这些条件影响预训练覆盖范围及复现成本，需要全文核对。 结果方面，作者报告在四项下游任务上评估 FoME，覆盖分类与预测应用，并称持续取得 state-of-the-art 结果。但摘要未提供具体任务、指标、分数、对照模型，以及被试内、跨被试、跨会话或跨数据集划分，因此目前无法量化优势，也不能将这些结果直接解释为特定 BCI 范式上的有效性。实验协议、消融及统计信息尚未验证。 复现时应重点核对 ATLAS 的计算定义、时频融合与单独表征的对照、预训练数据与下游评估的关系，以及各任务的适配方式。摘要称代码将公开，但未确认代码或预训练权重已可获取。作者提出其可支持 BCI、临床诊断与认知研究；这些应用范围仍需各自的任务级证据支持。

    阅读价值：值得核对 FoME 的时频融合嵌入与 ATLAS 如何处理 EEG 时间动态及多通道异质性，但其性能优势与跨场景适用性仍需结合全文中的评估协议和消融验证。

  3. OpenReview · State space models74

    Mamba-CL：在零空间中优化选择性状态空间模型以实现持续学习

    基于摘要分析。该研究面向持续学习中的灾难性遗忘，提出 Mamba-CL，通过在历史任务特征子空间的正交方向更新参数，持续微调大规模 Mamba 基础模型的核心 SSM，力求保留既有知识并学习新任务。 核心机制是将参数更新限制在历史特征子空间对应的零空间内。作者围绕 Mamba 的四个关键时不变参数推导整体一致性约束，处理 SSM 的递归状态空间结构与非线性离散化过程，再以零空间投影实现正交更新。作者声称，该方法在理论上保证各 SSM 模块在先前与当前任务上的输出一致性目标；具体保证的假设、约束范围，以及模块级一致性如何对应最终任务性能，需结合全文核对。 作者报告，在四个类别增量学习基准上，Mamba-CL 展现出抗遗忘效果，性能优于所比较的先进方法。摘要未提供基准名称、任务序列、数据划分、指标或具体数值，因此无法判断提升幅度及不同协议下的可比性。实验协议、消融及统计信息尚未验证。摘要称代码位于补充材料中，但其可获取性、运行配置与复现要求尚未核对。 平台推测（待验证）：该机制可能对应 EEG 持续学习中新增类别或连续会话更新引起的遗忘，但依赖历史特征子空间能稳定表征需保留的知识。可复用的是零空间投影与参数一致性约束；需改造的是 EEG 时序输入、通道适配和特征子空间估计。低信噪比、跨被试差异、通道变化及小样本可能使子空间估计不稳定，或过度限制更新、妨碍新任务学习。一个可检验的假设是：在固定 EEG 类别增量协议下，使用相同 Mamba 骨干与数据划分，对照普通顺序微调和零空间约束更新，检验历史类别 Accuracy 的保留是否以新类别学习能力下降为代价。上述迁移不属于本文已验证结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其针对 Mamba 核心 SSM 参数推导的一致性约束与零空间投影实现，尤其是理论保证的适用条件及抗遗忘与新任务学习能力之间的权衡。