跳到正文
OpenReview · State space models·· 2026-09-15精选AI 评分76

解决终身模型编辑中的困难改写—无关查询情形

Resolving Hard Paraphrase-Unrelated Query Regimes in Lifelong Model Editing

AI 导读

基于摘要分析。本文研究终身模型编辑中语义等价改写查询与无关查询难以正确路由的问题,提出 SEAL(SynErgistic intrA- and extra-modeL framework),结合模型内 Hopfield-based router 与测试时使用的轻量模型外 Sentinel Prompt,旨在兼顾已编辑知识的 Reliability、改写查询的 Generality 和无关查询的 Locality。 在基于记忆的编辑器中,查询需要被分配至编辑专用路径或基础模型路径。论文关注的困难情形包括:改写查询与原编辑查询在词汇上距离较远、无关查询反而距离较近,或两者同时出现。作者报告,在所评估的骨干模型中,隐藏状态表示空间也呈现相同的距离趋势,使两类查询的路由分数分布更加重叠,增加同时维持 Generality 与 Locality 的难度。 SEAL 的核心机制是利用 Sentinel Prompt 产生作者所称的 Asymmetric Pulling Effect:压低无关查询的路由分数,同时维持或提高改写查询的分数,以分离重叠分布。Decoupled Two-Stage Inference 则在基础模型路径移除 Sentinel Prompt,设计目标是保留基础模型原有的输出分布。 作者报告,在四个骨干模型、四个基准上的实验中,SEAL 改善了困难情形下的 Generality 与 Locality。摘要未提供模型和基准名称、具体指标数值、查询划分及对照配置,因此无法判断增益幅度及适用边界。实验协议、消融及统计信息尚未验证;复现还需核对困难查询的构造标准、路由阈值、Sentinel Prompt 的获取方式,以及两阶段推理的额外开销。本文主要对象是模型知识编辑,材料未提供 EEG/BCI 的具体机制对应或验证证据。

阅读价值

值得关注其通过测试时 Sentinel Prompt 分离改写查询与无关查询路由分数的机制,以及基础模型路径移除提示以保护 Locality 的设计;具体增益与复现条件尚未验证。

来源:OpenReview · State space models · openreview.net