跳到正文
OpenReview · State space models· Wei Sun; Tingyu Qu; Mingxiao Li; Jesse Davis; Marie-Francine Moens·· 2025-12-31精选AI 评分74

通过零空间约束缓解多语言序贯知识编辑中的负向干扰

Mitigating Negative Interference in Multilingual Sequential Knowledge Editing through Null-Space Constraints

AI 导读

基于摘要分析。本文研究 LLM 在统一模型中进行多语言序贯知识编辑时,后续更新干扰既有知识、损害多语言泛化与新增知识准确性的问题,提出零空间约束框架 LangEdit,以隔离不同语言的参数更新,避免为每种语言维护独立编辑系统。 核心机制是将每种语言的参数更新投影到此前更新子空间的正交补中。作者称这一约束可在数学上保证更新独立性,并保持多语言泛化能力。需要区分参数空间中的更新独立性与模型输出层面的知识保持:两者之间的具体理论条件,以及历史子空间的构造、存储和更新方式,均需全文核对,不能仅凭摘要认定所有既有知识都不会受影响。 作者报告,在三种模型架构、六种语言和四项下游任务的评估中,LangEdit 能有效缓解参数干扰,并优于所比较的现有先进编辑方法。摘要未提供具体模型、语言、任务、数据划分、基线名称或指标数值,因而无法判断收益幅度及适用边界;实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但实现内容与复现条件尚未核验。 平台推测(待验证):假设 EEG 跨被试或跨会话连续适应中的遗忘,部分源于新旧参数更新方向的冲突,则历史更新子空间投影可能作为适应模块的约束机制。原方法处理的是多语言 LLM 知识编辑,其所需编辑监督、子空间估计数据及规模尚未验证;迁移时可考虑复用投影约束,但需重新定义 EEG 的适应目标、更新参数范围和历史子空间。EEG 低信噪比可能使子空间估计不稳定,被试差异、通道变化及小数据也可能使约束阻碍必要适应;随着更新累积,可用更新空间是否收缩亦需检查。一个可检验的小实验是在固定通道配置下按会话顺序适应同一 EEG 模型,对比有无投影约束的新会话 Accuracy 与旧会话 Accuracy 保持情况,严格隔离训练和测试数据。该实验仅检验迁移假设,不代表本文已验证 BCI 效果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 LangEdit 的零空间约束如何界定并隔离历史更新子空间,以及这种更新独立性在多语言连续编辑中如何转化为知识保持与泛化收益;其对 EEG 连续适应的价值尚未验证。

来源:OpenReview · State space models · openreview.net