跳到正文

算法、任务与模态

Foundation Model 最新动态

Foundation Model 研究索引;按可核对的标签归档,不以热度评价质量。

22 条精选近 30 天 22 条共收录 22 条

更新

精选归档 · 第 2 页

10月3日周六第 21–22 条
  1. arXiv · 表征与预训练80

    ZeroMAG:面向即插即用 EEG 基础模型的零样本多模态适配器生成

    基于摘要分析。ZeroMAG 研究如何在保留 EEG 基础模型预训练知识的同时,利用伴随生理信号扩展到异构多模态记录。其核心贡献是从无标签目标记录推断并生成适配器,在冻结 EEG 编码器与预测头的条件下实现多模态扩展,不使用目标标签,也不进行目标端优化。 机制上,ZeroMAG 以不随模态配置变化的适配器组织伴随模态,从无标签记录及任务上下文构建“模态—被试—任务”条件,并在由源适配器学习得到、受功能约束的潜在空间中生成适配器权重。这一路径区别于直接回归权重:生成过程不仅依赖权重表征,还通过功能监督约束表征学习与条件生成。具体适配器结构、条件编码方式、功能监督定义及损失形式尚未验证。 作者报告,在六个留出的目标数据集和三个 EEG 基础模型骨干上,ZeroMAG 的 Balanced Accuracy 相比仅使用 EEG 的推理平均提高 7.22 个百分点,相比直接权重回归提高 4.89 个百分点,与有监督多模态适配的平均差距在 0.50 个百分点以内。作者明确说明,目标数据集未参与 ZeroMAG 流程中的任何模型训练与选择;摘要未给出具体数据集、任务、伴随模态、被试数量及被试内或跨被试等划分协议,因此这些平均结果不能直接外推至特定 BCI 场景。 作者报告,移除表征学习或条件生成任一阶段的功能监督都会降低生成适配器的表现,支持两个组件的贡献。复现时需核对源适配器的训练与监督来源、任务上下文的可用信息、无标签目标记录的使用范围,以及有监督多模态对照的协议。实验协议、消融及统计信息尚未验证;对低信噪比、不同通道配置和伴随模态变化的稳健性也尚未验证。

    阅读价值:值得核对其利用无标签目标记录生成多模态适配器的机制,以及目标数据集隔离与功能监督的实现;作者报告的结果为冻结 EEG 基础模型的零样本多模态扩展提供了具体评估依据。

10月2日周五
  1. arXiv · 表征与预训练76

    少测量,多获知:自监督测试时特征采集

    基于摘要分析。本文研究多模态、高维系统在测试时如何避免昂贵且冗余的全量测量,并在下游任务或预测目标未知的情况下,顺序选择有信息量的模态。作者提出任务无关的自监督模态采集原则 ECHO-k,以深度模型的内部预训练表征作为代理目标,用于概括跨模态信息并指导采集。 核心机制是以表征目标替代特定下游任务的监督信号。作者在简化的线性设定下提供理论保证,并据此构建用于顺序模态选择的强化学习(RL)策略。摘要未说明代理目标的具体构造、优化损失、策略状态与奖励,以及采集成本如何计入预算,相关实现细节尚未验证。 作者报告,在与任务无关、无标签的采集基线比较时,ECHO-k 在多种基础模型后端上持续改善预算约束下的下游性能。摘要未提供数据集、预算定义、评估划分、指标或改善幅度,不能据此量化收益或比较不同协议;实验协议、消融及统计信息尚未验证。线性设定下的理论保证也不能直接视为复杂非线性多模态场景的保证。 平台推测(待验证):该机制可能用于 EEG 与其他模态联合测量时的成本控制,或经改造后用于 EEG 通道组选择。迁移假设依赖预训练表征能够保留下游所需信息,以及模型能够处理部分观测;可复用代理表征目标和顺序采集策略,但需改造观测接口、采集动作与成本定义。EEG 的低信噪比、跨被试差异、通道相关性及小数据可能导致策略追逐不稳定表征,或忽略任务关键但表征不敏感的信息。一个可检验的小实验是固定预训练编码器,在相同采集预算与跨被试划分下,比较代理表征驱动的通道组选择与随机、固定通道组选择,并仅在最终评估阶段使用下游标签;该实验属于迁移验证建议,并非原文结果。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得关注其以预训练内部表征作为代理目标、在下游任务未知时学习预算约束下模态采集策略的机制,但其在 EEG/BCI 中的有效性尚未验证。