跳到正文
OpenReview · State space models· Jinhui Chen; Shizhu He; Xingchang Yang; Huanxuan Liao; Yequan Wang; Xiangwen Liao; Wenhao Teng; Kang Liu; Jun Zhao·· 2026-07-04精选AI 评分72

协调过去、现在与未来:用于 LLMs 持续学习的零空间约束区域特异性方法

Harmonizing the Past, Present, and Future: A Null-Space Constrained Region-Specific Method for Continual Learning in LLMs

AI 导读

基于摘要分析。本文研究 LLMs 持续学习中既有知识保留、当前任务学习与未来适应容量之间的矛盾,提出 Null-Space Constrained Parameter Region Specificity Method(PaRSP),通过任务相关区域定位和零空间约束,将参数更新限制在稀疏区域,以减少任务间干扰并保留后续适应空间。 机制上,PaRSP 建立动态“Task-Region Mapping”,区分专门化神经元与通用神经元,为各任务定位稀疏的“functional core”,再通过零空间正交性约束特定区域的更新,使网络大部分参数保持不变,作为长期知识存储。这里的神经元指模型计算单元;脑功能分区是方法灵感,不是神经信号实验结果。摘要未提供区域识别准则、零空间构造方式、任务切换条件或容量分配规则,这些实现细节尚未验证。 作者报告,PaRSP 在 Standard CL 和 Long Sequence 基准上取得最先进表现,但摘要未给出具体任务构成、LLM 基座、评估指标、数值及对照设置,因此尚不能判断收益幅度,也不能确认长期容量保留是否得到独立量化。实验协议、消融及统计信息尚未验证。材料提供了代码仓库链接,但其运行条件与实现一致性尚未核验。 平台推测(待验证):若 EEG 解码需要按会话或任务顺序适应,稀疏区域更新与零空间约束可能用于缓解新数据适应对旧任务的干扰。该假设依赖可训练模型、顺序到达的数据及可定位的任务相关参数;可尝试复用约束更新机制,但需改造 EEG 编码器的区域定位和任务定义。低信噪比、跨被试差异、通道变化及小样本可能使区域估计与零空间估计不稳定。一个可证伪的小实验是在固定被试、固定通道的跨会话顺序学习中,比较完整更新、仅稀疏更新及稀疏加零空间约束,并同时记录旧会话性能、新会话性能和累计更新参数比例。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 PaRSP 如何将任务区域定位、稀疏更新与零空间约束结合,以兼顾遗忘控制和后续任务容量;其在 EEG 持续学习中的适用性尚未验证。

来源:OpenReview · State space models · openreview.net