跳到正文
OpenReview · State space models· Wei Sun; Tingyu Qu; Mingxiao Li; Jesse Davis; Marie-Francine Moens·· 2025-12-31精选AI 评分74

通过零空间约束缓解多语言知识编辑中的负干扰

Mitigating Negative Interference in Multilingual Knowledge Editing through Null-Space Constraints

AI 导读

基于摘要分析。本文研究大语言模型(LLMs)的多语言知识编辑:如何在统一模型中依次更新不同语言的知识,同时减少参数更新之间的破坏性干扰。作者提出 LangEdit,通过零空间约束隔离语言特定的知识更新,目标是在注入新知识时维持跨语言事实表征的一致性与泛化能力。 核心机制是将某种语言的参数更新投影到其他语言子空间的正交补中,以限制更新对其他语言的影响。与为每种语言维护独立编辑系统的方案不同,该方法旨在统一模型内完成多语言更新。作者声称该约束能够从数学上保证更新独立性,但摘要未给出语言子空间的定义、估计方式、约束施加位置及保证成立的假设;这些内容需要结合全文核对,不能将子空间中的正交性直接等同于模型输出层面的完全无干扰。 作者报告,在三种模型架构、六种语言和四项下游任务的评估中,LangEdit 缓解了参数干扰,且优于所比较的现有知识编辑方法。摘要未提供具体架构、语言、任务、数据划分、指标数值及基线配置,因此尚不能判断收益幅度与适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若跨被试或跨会话 EEG 模型的顺序适配中存在可分离的参数更新子空间,正交约束可能提供减少既有任务退化的思路;可借鉴的是更新投影机制,而非直接沿用语言子空间。该假设需要重新定义并估计被试或会话相关子空间,低信噪比、通道差异和小样本可能使估计不稳定,过强约束也可能抑制有效适配。可在固定数据划分与适配预算下,对比有无投影约束的顺序跨会话适配,同时评估新会话表现和旧会话性能保留。原文未提供 EEG/BCI 证据,已有相关工作尚未检索确认。

阅读价值

值得核对 LangEdit 如何构造语言子空间及其正交约束,因为这直接关系到顺序知识编辑中更新独立性与多语言泛化能否兼得;摘要中的理论保证及性能优势仍需全文验证。

来源:OpenReview · State space models · openreview.net