EPT:基于多空间投影与提示融合的高效提示调优
EPT: Efficient Prompt Tuning by Multi-Space Projection and Prompt Fusion
基于摘要分析。本文研究预训练语言模型的提示调优,针对软提示长度带来的准确性与训练效率权衡,以及不同下游任务间适配表现不一致的问题,提出 Efficient Prompt Tuning(EPT),以多空间投影和提示融合改善参数高效适配。 机制上,EPT 将给定软提示分解为一个较短提示和两个低秩矩阵,以减少训练时间;同时利用低秩矩阵与短提示作为额外知识来源,丰富短提示的语义表示。为应对不同任务的需求,方法将软提示投影至多个子空间,并通过门控网络自适应学习不同空间的组合权重。摘要未提供具体分解公式、融合位置、训练目标或可训练参数规模,这些实现细节尚未验证。 作者报告,在 13 个自然语言处理下游任务、与 11 种对照方法比较的实验中,EPT 的相对提升最高为 12.9%,训练时间减少 14%。摘要未明确这些数字对应的任务、指标、具体基线及计时设置,因此不能将其解释为所有任务的平均收益,也不能将相对提升换算为准确率百分点。数据划分、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 基础模型支持可学习提示,短提示与低秩多空间融合可能用于降低任务适配开销,但这只是机制迁移假设,不是已验证的 EEG 或 BCI 结果。可复用的是提示压缩与门控融合思路;需改造提示与时序信号表征的接口,并核对预训练方式及任务监督要求。低信噪比、通道差异和小样本条件可能使门控权重不稳定,或使提示压缩损失判别信息。一个可证伪的小实验是在固定 EEG 预训练骨干和同一跨被试划分下,对比普通软提示与 EPT 式适配,同时记录任务指标、可训练参数和训练时间。相关 EEG 工作尚未检索确认。
值得核对 EPT 如何通过短提示、低秩投影与门控融合兼顾适配效果和训练效率,但摘要中的收益尚需结合逐任务结果、计时条件与消融实验验证。
来源:OpenReview · State space models · openreview.net