跳到正文
arXiv · 学习目标与优化· Nazanin Mirhosseini·· 1 天前精选AI 评分72

球面参数空间对持续学习中无遗忘任务数量与容量的影响

Effect of Spherical Parameter Space on Number of Non-Forgetting Tasks and Capacity of Continual Learning

AI 导读

该研究考察球面参数约束下,持续学习能够容纳多少个无遗忘任务,以及无遗忘约束如何影响总信息论容量;核心贡献是将任务兼容性建模为可接受损失区域的共同交集,并推导相关上界。基于摘要分析,未取得论文全文。 理论模型将参数限制在半径为 √d 的球面 S^{d−1}(√d) 上,以任务最优参数 Θ_i 为中心、半径 r_i(d) 的测地球表示该任务的可接受损失区域。任务间相似性通过 Neyman–Scott 聚簇点过程刻画:簇中心服从球面上的齐次 Poisson 点过程,簇内任务最优参数服从 von Mises–Fisher 分布,集中参数为 κ。学习算法被抽象为依赖上一时刻参数、已有任务可接受区域交集和当前任务最优参数的条件信道。 这一表述不要求学习器精确达到当前任务最优点,而要求新参数同时落入当前任务与所有历史任务的可接受区域。作者报告,在 d→∞ 且 κ/d→α>0 的渐近条件下,推导了使全部任务区域交集非空的概率趋于 1 的任务数 T 上界;对于从该点过程均匀抽取的 T 个任务,还推导了逐任务无遗忘约束下的总信息论容量上界。摘要未提供界的具体表达式,也不能据此判断这些界是否紧致,或实际优化算法能否到达共同可行区域。有限维验证、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 跨会话学习可近似为共享参数上的一组可接受损失区域,该框架可能帮助分析会话相似性与遗忘风险之间的关系。可复用的是区域交集的兼容性视角;需改造的是球面参数约束、损失阈值及任务最优点聚簇假设。低信噪比、通道变化和小样本可能使区域估计不稳定,实际区域也未必近似测地球。一个可检验的小实验是在固定通道的同一被试跨会话 EEG 数据上,使用球面约束的小模型,预设各会话可接受损失阈值,检验任务相似性是否与经验共同可行性及历史任务性能保持一致。该实验不能直接验证渐近容量界;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其将持续学习中的无遗忘要求转化为球面可接受损失区域交集与信息论容量界的理论框架,但其对有限维模型及 EEG 跨会话学习的适用性尚未验证。

来源:arXiv · 学习目标与优化 · arxiv.org