面向广义持续学习的可扩展语言模型

基于摘要分析。本文研究语言模型如何在持续学习中不断获取和更新知识，同时降低对经验回放、优化约束及推理阶段任务标识的依赖，提出 Scalable Language Model（SLM）。其核心是结合 Joint Adaptive Re-Parameterization（JARe，联合自适应重参数化）与 Dynamic Task-related Knowledge Retrieval（DTKR，动态任务相关知识检索），根据下游任务自适应调整语言模型。 机制方面，作者描述该方法利用向量空间中的任务分布，将重参数化与任务相关知识检索结合起来，以支持更广义的持续学习。摘要未说明任务分布的构建方式、检索对象、参数更新范围、训练目标及任务边界如何确定，因此尚不能据此还原实现，也不能将其归类为状态空间模型方法。 结果方面，作者报告，在多种骨干模型与基准的全量数据及少样本持续学习场景下，该方法达到领先表现且遗忘较少；但摘要未提供基准名称、任务顺序、评价指标、对照方法或具体数值。作者还以 LLaMA-2 探索跨领域与多任务类型的持续学习，而非仅限于分类任务。实验协议、消融及统计信息尚未验证，尤其需核对知识检索和参数扩展的计算、存储开销，以及无推理任务标识条件下的任务适配方式。 原论文的主要对象是语言模型持续学习，并非 EEG 或 BCI。当前材料不足以建立 JARe、DTKR 与神经信号解码之间的具体机制对应，不能据此宣称其能改善跨被试或跨会话适应；相关 EEG 工作尚未检索确认。