跳到正文

算法、任务与模态

PEFT 最新动态

PEFT 研究索引;按可核对的标签归档,不以热度评价质量。

142 条精选近 30 天 63 条共收录 163 条

更新

精选归档 · 第 8 页

1月1日周日第 141–142 条
  1. OpenReview · State space models74

    SharPT:共享潜在空间提示调优

    基于摘要分析。SharPT 面向大语言模型的参数高效任务适配,针对 Soft Prompt Transfer(SPoT)需要寻找合适源任务、选择成本较高的问题,从多个源任务共同学习共享潜在空间,以按实例生成 soft prompts,减少对单一源任务提示选择的依赖。 核心机制是:输入实例的嵌入查询共享潜在空间,得到基础技能向量,再由轻量提示生成器将其转换为 soft prompts,用于调节冻结模型。共享潜在空间与提示变换在源任务上端到端学习;迁移到目标任务时,骨干模型和共享潜在空间保持冻结,仅微调提示生成器。作者报告,该生成器参数量约为冻结骨干模型参数量的 0.3%;这一比例描述的是目标任务微调模块规模,不等同于整体训练或推理成本。 作者报告,SharPT 在 NLI、sentence completion、QA、conference resolution(原摘要用语)及 word sense disambiguation 等任务上优于此前的 soft prompt 方法,并在不同模型规模下取得与全模型微调有竞争力的表现。摘要未提供具体数据集、划分、指标、基线数值及模型规模,无法据此量化提升或判断统计显著性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 预训练骨干支持提示注入,且多源 EEG 任务能够提供可共享的表征,实例条件化的提示生成机制可能用于低参数量的跨被试或跨任务适配。可复用的是共享潜在空间和轻量生成器的思路,需改造 EEG 实例编码及提示注入接口。低信噪比、通道差异和小样本可能使查询向量主要反映被试或设备特征,而非任务技能;原语言任务结果不构成 BCI 有效性的证据。可在固定 EEG 骨干、相同目标训练样本和跨被试划分下,对比共享潜在空间提示与静态 soft prompt,检验实例条件化是否稳定带来收益。相关 EEG 工作尚未检索确认。

    阅读价值:值得阅读的是其将多源任务知识组织为共享潜在空间、按实例生成 soft prompts 的迁移机制;作者报告仅微调约占冻结骨干模型参数量 0.3% 的提示生成器即可获得有竞争力的表现,但 EEG/BCI 适用性尚未验证。

1月1日周六
  1. OpenReview · State space models74

    面向对话状态跟踪的持续提示调优

    基于摘要分析。本文研究对话状态跟踪(Dialog State Tracking)模型在持续学习新领域或任务时的灾难性遗忘问题,提出参数高效的 Continual Prompt Tuning 框架,以任务专属提示参数保留既有能力,并促进任务间知识迁移。研究对象是对话系统,而非神经信号解码;标题中的 state tracking 也不表示本文提出了 state space model。 核心机制是冻结预训练骨干模型,仅为每个任务学习并存储少量 prompt token 的嵌入。为利用先前任务的知识,作者提出 continual prompt initialization、query fusion 和 memory replay;另以 memory-guided 技术利用后续任务知识,实现双向迁移。摘要未披露这些模块的具体计算方式、损失函数、记忆样本选择及训练与推理流程,尚不能判断其复现细节和资源开销。 作者报告,在对话状态跟踪的持续学习实验中,该方法相较于作者所称的先进基线表现出有效性与效率优势。摘要未给出数据集、任务顺序、划分协议、基线名称或具体指标数值;实验协议、消融及统计信息尚未验证,也不能据此量化遗忘抑制或迁移收益。 平台推测(待验证):可检验的迁移假设是,在具有可供提示调优的预训练 EEG 骨干、明确任务边界及逐任务监督数据的条件下,冻结骨干并保存任务专属提示参数,可能帮助管理跨会话或跨任务更新。可复用的是参数隔离与记忆回放思路;需改造的是 EEG 输入侧提示注入、任务选择以及回放样本组织。低信噪比、被试与通道差异可能使冻结特征失效,小数据也可能导致提示过拟合。一个小规模验证可固定 EEG 骨干和数据划分,按会话顺序比较任务专属提示、共享提示与全量微调,在每次更新后复测旧会话,并记录新会话表现、旧会话性能变化及可训练参数量。该实验仅为平台提出的假设检验,不是论文已验证结果;已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读的是冻结预训练骨干、按任务保存少量 prompt 嵌入以隔离遗忘,并结合双向知识迁移的持续学习机制;其在 EEG/BCI 中的适用性尚未验证。