跳到正文
#Continual Learning
10月8日周四
  1. arXiv · 学习目标与优化74

    从单一提示到功能集合：演化功能集合 EFRE 支持 LLM 持续学习

    基于摘要分析。本文研究 LLM 如何在连续获取新技能和知识时保留已有能力，提出 Evolving Functional REpertoires（EFRE）：以随任务演化的功能集合替代单一提示，通过细化已有功能或产生新功能处理连续任务中的更新冲突。 核心机制：作者将提示优化作为避免昂贵参数更新的适应途径，但作者报告，在顺序任务适应中，单一提示优化仍会出现灾难性遗忘，累积的规则也会过拟合局部任务分布。EFRE 对兼容更新细化已有功能，对冲突更新产生新功能。摘要未说明功能的具体表示、兼容性判定、推理时的选择方式及优化流程，这些机制尚未验证。 结果：作者报告，在一个三任务持续学习序列上，EFRE 的最终平均表现比 GRPO 高 7.50 个百分点；在适应 Bio 任务后，其 FinQA 表现下降 1.56 个百分点，而基础提示优化方法下降 25.10 个百分点。摘要未给出具体指标、完整任务顺序、数据划分及预算，不能将这些差值解释为 Accuracy，也不能据此推断跨协议优势。作者还报告，将 EFRE 实例化为最小智能体系统后，在不同骨干模型上观察到一致改进，但模型名称与逐项结果尚未验证。 复现重点是核对冲突判定与功能增长策略、任务间能力保持的评估方式，以及提示优化、EFRE 和 GRPO 的资源与监督条件。实验协议、消融及统计信息尚未验证。本文证据限于 LLM 持续学习，不构成 EEG/BCI 解码效果的证据；功能集合如何对应 EEG 任务、通道或被试差异尚不明确，暂不据此提出具体迁移方案。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 EFRE 如何判定更新兼容性并组织功能集合，以及其相对单一提示优化和 GRPO 的持续学习收益能否在一致评估与资源预算下复现。

  2. arXiv · 在线与高效推理75

    通过奇异向量选择平衡 LLM 持续学习中的稳定性与可塑性

    基于摘要分析。研究针对 LLM 领域持续适应中的灾难性遗忘，提出参数高效持续学习方法 SVC，以奇异向量通道作为分配可塑性与保留稳定性的基本单元，选择性更新通道，以兼顾新领域能力与预训练能力。 核心机制：作者将每个奇异向量通道视为一种输入—输出变换，更新通道用于学习新知识，固定通道用于保留预训练能力。微调前，SVC 使用领域数据估计各通道的适应收益，并仅将固定的公开通用领域语料作为历史激活代理，用于估计遗忘成本；随后通过基于拐点的成本筛选、Pareto-front 过滤与 Otsu 阈值法，自适应选择可训练通道。相较于仅限制可训练参数数量的 PEFT 思路，其关注点是以何种结构单元、依据何种收益与成本信号决定更新位置。具体评分公式、参数化方式、损失与训练开销尚未验证。 结果与证据边界：在覆盖四个 LLM 家族、八项下游任务的实验中，作者报告 SVC 相较现有 PEFT 基线更好地保留预训练能力，同时获得较强的下游表现；作者还报告通道评分与选择分析支持该机制。摘要未提供模型名称、数据集、任务顺序、划分、指标数值或基线配置，实验协议、消融及统计信息尚未验证，因此不能据此量化优势或判断不同持续学习设置下的适用范围。 平台推测（待验证）：若 EEG 预训练模型的权重也能分解为具有可用适应信号的奇异向量通道，该机制可能用于缓解跨被试或跨会话持续适应中的遗忘。可借鉴通道评分与筛选流程，但需改造领域收益评估及历史激活代理，不能直接用文本通用语料替代 EEG 历史数据。低信噪比、小样本和通道配置变化可能使评分不稳定，或使保留的通道不能代表原有能力。一个可检验的小实验是在固定 EEG 模型与顺序跨会话协议下，匹配可训练参数量，对比 SVC 式选择、随机通道选择与 PEFT 基线，同时测量新会话表现和旧会话性能变化。该迁移假设尚无本材料中的 EEG 证据支持，已有相关工作尚未检索确认。

    阅读价值：值得核对 SVC 如何将领域适应收益与遗忘成本落实到奇异向量通道选择，以及固定通用语料作为历史激活代理的有效性；摘要中的优势尚需结合完整实验协议验证。