跳到正文
OpenReview · State space models·· 2026-09-12精选AI 评分77

学习锚定提示空间以实现大语言模型的持续适应

Learning an Anchored Prompt Space for Continual Adaptation of Large Language Models

AI 导读

基于摘要分析。本文研究大语言模型持续适应中如何获取新知识并保留已有能力,提出 Learning an Anchored Prompt Space(LAPS),针对模型更新后历史 soft prompts 效力下降、任务间提示关系未被显式学习这两个问题,结合历史提示对齐与可学习提示空间促进知识迁移。 核心机制分为两个环节:首先通过自蒸馏使历史 prompts 与更新后的模型对齐;随后构建锚定提示空间,以已学习的任务特定 soft prompts 为顶点,通过可学习的 Bézier control prompts 塑造中间空间的几何结构。完成空间学习后,LAPS 在每个任务的验证集上选择表现最佳的 prompt,使所选提示能够利用已观察任务的知识。摘要未提供自蒸馏目标、控制 prompts 的参数化方式、空间搜索方法及模型参数与提示的具体更新流程。 作者报告,在 TRACE benchmark 和三个 Qwen3 模型规模上,LAPS 持续优于基于蒸馏、基于提示以及联合提示与参数适应的基线,提高平均表现并减少遗忘。摘要没有给出具体模型规模、指标定义、数值、任务顺序或数据划分,因此尚不能量化收益或比较不同设置。实验协议、消融及统计信息尚未验证;复现时需核对历史任务验证集的可用条件、提示搜索预算及各基线的资源配置。摘要提供了实现地址,但代码内容与运行条件尚未核验。 平台推测(待验证):其“对齐历史提示—学习任务间提示空间”的机制可作为 EEG 持续学习的候选思路,假设前提是 EEG 模型支持 soft prompts,并能获得可用于提示选择的任务验证数据。可复用提示对齐与空间构造思想,但需改造信号编码、提示注入位置和任务定义;低信噪比、跨被试或通道差异可能使提示间插值失效,小数据也可能导致验证集选择不稳定。可在固定通道配置的跨会话任务序列中,以相同数据划分和搜索预算对比独立 prompts、仅自蒸馏对齐及完整提示空间,检验新任务表现与历史任务遗忘。该假设不代表已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过自蒸馏维持历史 soft prompts 有效性、再以可学习 Bézier 控制 prompts 建模跨任务关系的机制;作者报告了 TRACE 上的性能与遗忘改善,但具体收益和验证集选择成本尚待全文核对。

来源:OpenReview · State space models · openreview.net