SharPT:共享潜在空间提示调优
SharPT: Shared Latent Space Prompt Tuning
基于摘要分析。SharPT 面向大语言模型的参数高效任务适配,针对 Soft Prompt Transfer(SPoT)需要寻找合适源任务、选择成本较高的问题,从多个源任务共同学习共享潜在空间,以按实例生成 soft prompts,减少对单一源任务提示选择的依赖。 核心机制是:输入实例的嵌入查询共享潜在空间,得到基础技能向量,再由轻量提示生成器将其转换为 soft prompts,用于调节冻结模型。共享潜在空间与提示变换在源任务上端到端学习;迁移到目标任务时,骨干模型和共享潜在空间保持冻结,仅微调提示生成器。作者报告,该生成器参数量约为冻结骨干模型参数量的 0.3%;这一比例描述的是目标任务微调模块规模,不等同于整体训练或推理成本。 作者报告,SharPT 在 NLI、sentence completion、QA、conference resolution(原摘要用语)及 word sense disambiguation 等任务上优于此前的 soft prompt 方法,并在不同模型规模下取得与全模型微调有竞争力的表现。摘要未提供具体数据集、划分、指标、基线数值及模型规模,无法据此量化提升或判断统计显著性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 预训练骨干支持提示注入,且多源 EEG 任务能够提供可共享的表征,实例条件化的提示生成机制可能用于低参数量的跨被试或跨任务适配。可复用的是共享潜在空间和轻量生成器的思路,需改造 EEG 实例编码及提示注入接口。低信噪比、通道差异和小样本可能使查询向量主要反映被试或设备特征,而非任务技能;原语言任务结果不构成 BCI 有效性的证据。可在固定 EEG 骨干、相同目标训练样本和跨被试划分下,对比共享潜在空间提示与静态 soft prompt,检验实例条件化是否稳定带来收益。相关 EEG 工作尚未检索确认。
值得阅读的是其将多源任务知识组织为共享潜在空间、按实例生成 soft prompts 的迁移机制;作者报告仅微调约占冻结骨干模型参数量 0.3% 的提示生成器即可获得有竞争力的表现,但 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net