跳到正文
OpenReview · State space models·· 2026-09-14精选AI 评分75

ResidualKV:通过可编辑注意力键值空间实现动态知识编辑

ResidualKV: Dynamic Knowledge Editing via an Editable Attention Key-Value Space

AI 导读

基于摘要分析。本文研究大语言模型(LLMs)的知识编辑:在不进行高成本全模型重训练的情况下修正特定事实。作者提出 Residual Key-Value Editing(ResidualKV),将修正内容存入持久可编辑的键值(KV)空间,并在推理时通过注意力动态调用,以改善事实更新及其在查询改写下的泛化。 机制上,作者将主要在前馈网络(FFN)层实施局部事实更新的既有路线概括为静态编辑范式,ResidualKV 则改变事实修正的存储与访问位置。为降低向可编辑 KV 空间写入信息所带来的干扰,作者进一步提出 Factual Residual Distillation(FRD):仅蒸馏从旧事实到新事实所需的变化,而非重建完整事实状态。其设计意图是减少冗余编码,提高有限 KV 容量的利用效率,并尽量保持预训练模型原有行为。摘要未提供具体损失形式、KV 构建方式或注意力调用实现。 作者报告,在三个近期 LLM 骨干和两个基准上的实验显示出较强的编辑有效性、查询改写泛化能力、具有竞争力的编辑后语言流畅性,以及稳健的大规模顺序编辑表现;作者还称消融和机制分析支持该设计。摘要未列出模型与基准名称、评价指标、分数、对照方法、编辑规模或数据划分,因此无法量化收益或判断不同设置下的适用边界,实验协议、消融及统计信息尚未验证。 本文主要贡献属于 LLM 事实知识编辑,而非神经信号建模。当前材料未建立可编辑事实 KV 与 EEG/BCI 任务之间的具体机制对应,不据此提出迁移有效性结论或复现实验建议;相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将事实修正存入持久可编辑 KV 空间、在推理时通过注意力调用的机制,以及 FRD 对编辑干扰与容量利用的处理;具体收益仍需结合全文协议和消融核对,尚不能视为 EEG/BCI 方法证据。

来源:OpenReview · State space models · openreview.net