跳到正文

算法、任务与模态

Foundation Model 最新动态

Foundation Model 研究索引；按可核对的标签归档，不以热度评价质量。

329 条精选近 30 天 70 条共收录 384 条

更新

精选归档 · 第 17 页

1月1日周一第 321–329 条
  1. OpenReview · EEG77

    VIT-LENS：面向全模态表征

    基于摘要分析。VIT-LENS 研究如何在新模态数据有限、难以重复视觉与语言模型大规模训练的条件下，借助预训练 ViT 学习全模态表征。其核心贡献是用模态专用 lens 将输入映射到中间嵌入空间，再由具有预训练视觉知识的 ViT 编码，并将输出对齐到现成基础模型预先定义的模态无关空间。 机制上，lens 承担不同输入结构到共享编码器接口的适配，ViT 提供可复用的视觉预训练知识，表征对齐则支持不同模态接入共同的下游能力。作者强调参数与数据效率，以及模态对齐和共享 ViT 参数带来的下游能力；摘要未说明具体损失形式、监督信号、训练数据配对方式、ViT 是否冻结及可训练参数规模。 研究对象包括 3D point cloud、depth、audio、tactile 和 EEG，而非仅针对 EEG 或 BCI。作者报告在包括零样本分类在内的多种理解任务上取得新的最优结果，并通过集成多模态基础模型，实现零样本的任意模态到文本与图像生成。但摘要没有逐模态结果，不能将这些总体结论直接归为 EEG 的已验证效果。EEG 数据集、被试数量、被试内或跨被试划分、基线、指标、消融及统计信息尚未验证。摘要提供了代码与模型仓库，具体 EEG 实现和复现配置仍需核对。 平台推测（待验证）：这一机制可能为 EEG 小数据条件下复用非 EEG 预训练表征提供路径。可复用部分是共享 ViT 与对齐接口，需改造部分是适应 EEG 时序、通道布局和采样差异的 lens；其可行性取决于可用监督或跨模态对应关系。低信噪比、跨被试差异及通道变化可能使视觉先验难以迁移，也可能使对齐保留语义却损失任务相关神经信息。一个可检验的小实验是在固定 EEG 数据划分、相同 lens 和训练预算下，对比预训练 ViT 与随机初始化 ViT，并分别报告被试内、跨被试结果，以检验视觉预训练是否带来稳定增益。其他相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读其通过模态专用 lens 复用预训练 ViT 并对齐共享表征空间的机制，但摘要未提供 EEG 的具体任务、评估协议和结果，尚不能据此判断其 BCI 有效性。

  2. OpenReview · State space models71

    文本空间图基础模型：综合基准评测与新见解

    基于摘要分析。本文研究如何统一评估面向不同图与任务的文本空间图基础模型（text-space Graph Foundation Models，GFMs），主要贡献是提供新的文本空间图数据集，并在统一问题设置下开展综合基准评测。 原问题是不同领域的图具有差异较大的节点特征，使共享骨干模型难以跨图、跨任务工作。相关方法借鉴多模态模型通过自然语言对齐不同模态的思路，以文本作为不同图的统一特征空间。本文重点是建立评估基础，而非摘要已明确提出一种新的模型架构：作者指出，既有研究缺乏统一问题设置下的综合比较，也缺少足够的数据集来检验不同场景中的有效性。 作者报告，统一评测的实证结果带来了新的认识并启发后续研究方向，但摘要未披露具体结论、数据集名称与规模、任务组成、数据划分、对照方法或指标数值，因此尚不能判断哪些方法在何种条件下更有效。训练与推理机制、实验协议、消融及统计信息尚未验证。作者说明代码与数据已公开，可作为后续核对和复现的入口。 研究对象是通用图数据与文本空间对齐，摘要未涉及 EEG 或 BCI，也未提供神经信号转为文本特征的具体机制，不能据此推断其对跨被试或跨数据集 BCI 的有效性；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读之处在于以统一问题设置比较 text-space Graph Foundation Models，并提供新的文本空间图数据集；具体评估覆盖范围与结论强度仍需核对全文。

  3. OpenReview · EEG74

    FoME：采用自适应时间–横向注意力缩放的 EEG 基础模型

    基于摘要分析。FoME 面向 EEG 信号异质性、低信噪比及标注数据有限的问题，提出结合时频融合嵌入与自适应时间–横向注意力缩放的 EEG 基础模型，旨在统一建模不同数据流中的时间、频谱和多通道信息。 核心机制包括 time-frequency fusion embedding 和 adaptive time-lateral attention scaling（ATLAS）。作者称，前者融合时间与频率信息，后者使注意力机制适应不同 EEG 数据流的模式变化，两者共同支持复杂 EEG 动态和多通道建模。摘要未给出融合方式、注意力缩放公式、预训练目标或训练损失，尚不能据此判断其具体实现及各组件的独立贡献。 预训练方面，作者报告使用包含头皮 EEG 与颅内 EEG 记录的多样化数据，规模为 1.7 TB；模型包含 745M 参数，训练 1,096k 步。摘要未说明数据集名称、被试构成、通道配置、采样率或预处理方式，也未明确不同记录类型如何统一表示。这些条件影响预训练覆盖范围及复现成本，需要全文核对。 结果方面，作者报告在四项下游任务上评估 FoME，覆盖分类与预测应用，并称持续取得 state-of-the-art 结果。但摘要未提供具体任务、指标、分数、对照模型，以及被试内、跨被试、跨会话或跨数据集划分，因此目前无法量化优势，也不能将这些结果直接解释为特定 BCI 范式上的有效性。实验协议、消融及统计信息尚未验证。 复现时应重点核对 ATLAS 的计算定义、时频融合与单独表征的对照、预训练数据与下游评估的关系，以及各任务的适配方式。摘要称代码将公开，但未确认代码或预训练权重已可获取。作者提出其可支持 BCI、临床诊断与认知研究；这些应用范围仍需各自的任务级证据支持。

    阅读价值：值得核对 FoME 的时频融合嵌入与 ATLAS 如何处理 EEG 时间动态及多通道异质性，但其性能优势与跨场景适用性仍需结合全文中的评估协议和消融验证。

  4. OpenReview · State space models74

    Mamba-CL：在零空间中优化选择性状态空间模型以实现持续学习

    基于摘要分析。该研究面向持续学习中的灾难性遗忘，提出 Mamba-CL，通过在历史任务特征子空间的正交方向更新参数，持续微调大规模 Mamba 基础模型的核心 SSM，力求保留既有知识并学习新任务。 核心机制是将参数更新限制在历史特征子空间对应的零空间内。作者围绕 Mamba 的四个关键时不变参数推导整体一致性约束，处理 SSM 的递归状态空间结构与非线性离散化过程，再以零空间投影实现正交更新。作者声称，该方法在理论上保证各 SSM 模块在先前与当前任务上的输出一致性目标；具体保证的假设、约束范围，以及模块级一致性如何对应最终任务性能，需结合全文核对。 作者报告，在四个类别增量学习基准上，Mamba-CL 展现出抗遗忘效果，性能优于所比较的先进方法。摘要未提供基准名称、任务序列、数据划分、指标或具体数值，因此无法判断提升幅度及不同协议下的可比性。实验协议、消融及统计信息尚未验证。摘要称代码位于补充材料中，但其可获取性、运行配置与复现要求尚未核对。 平台推测（待验证）：该机制可能对应 EEG 持续学习中新增类别或连续会话更新引起的遗忘，但依赖历史特征子空间能稳定表征需保留的知识。可复用的是零空间投影与参数一致性约束；需改造的是 EEG 时序输入、通道适配和特征子空间估计。低信噪比、跨被试差异、通道变化及小样本可能使子空间估计不稳定，或过度限制更新、妨碍新任务学习。一个可检验的假设是：在固定 EEG 类别增量协议下，使用相同 Mamba 骨干与数据划分，对照普通顺序微调和零空间约束更新，检验历史类别 Accuracy 的保留是否以新类别学习能力下降为代价。上述迁移不属于本文已验证结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其针对 Mamba 核心 SSM 参数推导的一致性约束与零空间投影实现，尤其是理论保证的适用条件及抗遗忘与新任务学习能力之间的权衡。

  5. OpenReview · Representation learning76

    学习可解释概念：统一因果表征学习与基础模型

    基于摘要分析。本文研究如何从数据中学习人类可解释的概念，将因果表征学习中构建内在可解释模型的路线，与先训练高性能基础模型、再理解其内部机制的路线联系起来。主要贡献是形式化定义“概念”，并研究其从多样化数据中被恢复的理论可能性。 在理论层面，作者报告，在其提出的概念定义和相应条件下，可以证明概念可从多样化数据中恢复。摘要未给出概念的数学形式、“多样化”的具体含义、可恢复性的判据及所需假设，因此不能将该结论扩展为任意基础模型中的概念均可被识别，也不能据此判断是否需要标签、干预或其他辅助信息。 在实验层面，作者报告，合成数据与大语言模型上的实验展示了统一方法的效用。摘要未提供具体模型、任务、数据规模、对照基线或评价指标；实验协议、消融及统计信息尚未验证。复现评估需要进一步核对概念的操作化定义、恢复算法、理论假设与实验数据之间的对应关系。 本文的主要研究对象是通用概念学习与基础模型可解释性，而非 EEG 或 BCI。摘要尚不足以建立针对神经信号的具体机制对应关系，不能据此推断跨被试鲁棒性或神经生理可解释性有所改善；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其对“概念”的形式化定义及从多样化数据中恢复概念的理论条件，这为联系因果表征学习与基础模型可解释性提供了可核对的研究切入点，但具体假设与实验支持范围尚未验证。

  6. OpenReview · State space models73

    文本空间图基础模型：综合基准与新见解

    研究针对不同领域图数据的节点特征难以统一、文本空间图基础模型缺少统一评估设置的问题，提出包含新增文本空间数据集的综合基准，以考察不同方法在多种图与任务上的表现。基于摘要分析，未取得论文全文。 核心思路是以自然语言作为不同图之间的统一特征空间，为使用统一骨干处理异构节点特征提供基础。本文主要贡献是数据与评估框架，而非摘要中已明确描述的新模型架构：作者在统一问题设置下比较文本空间 Graph Foundation Model（GFM），并通过新增数据集扩大可评估范围。 作者报告，实证评估带来了新的认识并启发后续研究方向，但摘要没有给出具体发现、指标数值或方法排序，因此尚不能判断哪些方法在何种条件下更有效。数据集名称与规模、任务类型、训练与测试划分、跨图或跨领域评估方式、对照基线、消融及统计信息尚未验证。复现时应重点核对文本特征的构建方式、各方法获得的信息及训练资源是否一致，以及评估协议如何区分已见图与未见图。 作者声明代码与数据已公开，具体内容及可运行性尚未验证。研究对象是通用图学习，而非 EEG 或 BCI；摘要未提供神经信号评估，不能将其通用图学习价值直接视为 BCI 有效性的证据。相关 EEG 工作尚未检索确认。

    阅读价值：该研究通过统一问题设置和新增文本空间图数据集，提供比较不同文本空间图基础模型的评估框架，值得核查其任务覆盖、数据划分与跨图泛化协议。

9月24日周日
  1. OpenReview · Representation learning73

    图不止于表象：通过自监督学习通用特征

    基于摘要分析。本文研究如何从多个图中通过自监督学习提取同一图族的通用特征，而非仅学习适用于单个图的专属表征。核心贡献是以图专属模块统一不同图的异构节点特征，再交由共享的通用表征学习模块处理，为图基础模型提供一种多图联合学习框架。 机制上，作者将不同图之间的特征差异与共享表征学习分开处理：前者由图专属模块适配，后者由通用模块承担。其关键假设是，同一图族包含可跨图复用的结构或特征规律，多图自监督能够比单图自监督更充分地提取这些规律。摘要未说明图族如何界定、自监督任务与损失、特征统一方式或共享模块的具体结构。 作者报告，在同一图族的多个图上进行自监督，相较单图自监督能够改善表征质量，并提升下游节点分类表现；作者还报告该方法缩小了与监督学习的性能差距，同时减少自监督计算时间与模型参数。摘要未给出具体数据集、划分、指标、基线配置及数值，因此这些收益的适用范围、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将 EEG 数据组织为通道节点图，该机制可能用于探索不同通道配置或特征空间下的共享表征；可复用的是“图专属适配加共享编码”的设计，需改造的是 EEG 图构建、节点特征及自监督目标。这一假设依赖不同图之间确有共享规律，低信噪比、跨被试差异、小数据与通道对应不稳定均可能使适配模块过拟合或抹去任务信息。一个可证伪的小实验是在固定下游训练数据与评估协议下，对比多图和单图自监督在留出被试节点标签预测上的表现，并控制模型容量与预训练数据量；这不等同于已验证的 BCI 解码收益。已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究以图专属特征对齐模块连接共享表征模块，为异构节点特征下的多图自监督学习提供了可核对的机制思路，但其性能与计算收益仍需结合全文协议验证。

4月25日周二
  1. OpenReview · State space models77

    优秀模型所见略同：通过模型间潜在空间一致性提升模型可靠性

    基于摘要分析。该研究针对深度学习模型因过度自信而难以可靠部署的问题，通过比较待评估模型与基础模型的潜在空间一致性来估计预测可靠性，并将该信号以事后方式融入预测置信度。 核心机制是邻域一致性度量：两个模型的潜在表示可能存在任意旋转、维度不同等不一致，因此作者不直接比较表示坐标，而是设计潜在空间之间的邻域一致性指标。作者报告，该指标与预测可靠性具有较强相关性，将其与置信度融合可改善可靠性。摘要提及理论分析，以及在多个数据集、分布内和分布外条件下进行的错误检测实验，但未提供具体数据集、对照基线、指标或数值；邻域构建、融合公式、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可检验的迁移假设是，EEG 分类模型与适配 EEG 的基础模型若对同一样本形成相近的邻域结构，其预测可能更可靠。该方法依赖可供比较的样本集合及两套潜在表示；迁移时可复用邻域比较与事后置信度融合思路，但需核对基础模型的训练域、通道适配和邻域参考集构建。EEG 的低信噪比、被试差异、通道不一致与小样本可能使邻域主要反映噪声或被试身份；两个模型也可能一致犯错，因此一致性不能直接等同于正确性。 一个小规模可证伪实验是在固定的 Cross-subject EEG 分类划分下，以独立验证数据确定融合方式，在留出被试上比较原始置信度与融合后置信度的错误检测表现，并检查邻域是否受被试身份主导。该实验仅为迁移建议，非论文已验证结论；已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究以潜在空间的邻域一致性补充预测置信度，为错误检测提供了可核对的方法思路，但其对 EEG 跨被试可靠性评估的适用性尚未验证。

1月1日周日
  1. OpenReview · Representation learning82

    EVA：探索大规模掩码视觉表征学习的极限

    基于摘要分析。EVA 研究如何仅利用公开可访问数据扩展视觉表征学习：以标准 ViT 为骨干，根据可见图像块重建被遮蔽位置的图文对齐视觉特征，构建视觉中心基础模型。其主要研究对象是视觉及图文多模态学习，而非 EEG 或 BCI。 核心机制是将掩码建模的重建目标设为图文对齐的视觉特征，而不是直接表述为像素重建。该任务将局部可见图像信息与语义特征预测联系起来；目标特征的生成方式、损失形式、掩码策略、预训练数据组成及训练预算尚未验证。 作者报告，EVA 可扩展至十亿参数，并在不依赖繁重有监督训练的条件下，在图像识别、视频动作识别、目标检测、实例分割和语义分割等下游任务上取得领先结果。作者还报告，在超过一千类别的 LVIS 与仅八十类别的 COCO 上，EVA 的实例分割表现几乎相当，并据此强调规模扩展带来的迁移能力变化；但摘要未给出具体指标、数据划分和对照设置，不能据此直接比较两个数据集的难度或认定开放词汇能力。 在多模态训练中，作者报告，用 EVA 初始化大型 CLIP 的视觉编码器，相比从头训练可提高训练稳定性，并以更少样本和计算取得更好表现。收益幅度、计算口径、数据重叠及初始化对照的匹配条件，均需全文核对；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其特征空间重建思路可能对应 EEG 自监督学习中“预测语义目标而非原始噪声信号”的需求，但依赖可靠的目标表征与配对监督。可复用的是掩码预测目标设计，需改造的是时序／通道编码和目标特征生成方式；低信噪比、跨被试差异及小样本可能削弱目标一致性。一个可检验的小实验是在固定 EEG 编码器、数据划分和训练预算下，对比原始信号重建与特征重建，并以隔离被试的下游评估检验迁移收益。该假设不是 EVA 已验证的 EEG 效果，相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其以图文对齐视觉特征为重建目标的掩码建模机制，以及 EVA 初始化对大型 CLIP 训练稳定性和样本效率的影响；摘要中的规模化与迁移收益仍需结合完整实验协议验证。