跳到正文
OpenReview · State space models· Ghada Sokar; Decebal Constantin Mocanu; Mykola Pechenizkiy·· 2020-01-01精选AI 评分74

SpaceNet:为持续学习腾出空间

SpaceNet: Make Free Space For Continual Learning

AI 导读

基于摘要分析。本文研究类别增量学习中的灾难性遗忘,提出 SpaceNet:在不扩展模型容量的前提下,从头自适应训练稀疏深度神经网络,将各任务的稀疏连接集中到较少的神经元中,以降低任务间干扰并为后续任务保留容量。 核心机制是对固定容量进行稀疏化利用,而非持续增加网络规模。作者认为,自适应调整稀疏连接能够形成减少任务干扰的稀疏表征。摘要将其定位于推理时不提供任务身份的类别增量学习场景;具体连接更新规则、神经元压缩方式、损失函数及推理流程尚未验证。 作者报告,在 split MNIST、split Fashion-MNIST 和 CIFAR-10/100 持续学习基准上,SpaceNet 的表现明显优于所比较的正则化方法;在不扩展模型的情况下优于所比较的架构方法,并以更低的记忆开销取得与回放方法相当的结果。摘要未提供具体分数,任务划分、对照实现、记忆开销统计口径、消融及统计信息尚未验证,因此不能据此量化优势或比较不同协议下的表现。 平台推测(待验证):其可迁移假设是,固定容量中的稀疏任务分配可能有助于 EEG 解码器顺序学习新增类别时减少遗忘。原方法依赖任务序列与类别增量训练结构,不能直接等同于跨会话域适应。可复用的是稀疏连接与容量分配思路,需改造 EEG 特征提取和新增类别训练流程;低信噪比、通道变化及小样本可能使连接分配不稳定,过度隔离任务也可能削弱共享特征。可先在固定通道的被试内运动想象类别增量设置中,控制参数与回放预算,对比顺序微调和 SpaceNet,检验旧类别性能、新类别学习能力及容量占用。已有 EEG 相关工作尚未检索确认。

阅读价值

SpaceNet 以固定容量下的自适应稀疏连接缓解类别增量学习中的任务干扰,值得核对其容量分配与记忆开销对照,但其对 EEG 持续学习的适用性尚未验证。

来源:OpenReview · State space models · openreview.net