L3DMC:通过混合曲率空间蒸馏实现终身学习
L3DMC: Lifelong Learning Using Distillation via Mixed-Curvature Space
基于摘要分析。该研究面向医学图像分类中的终身学习,针对顺序学习新任务时嵌入空间几何变化导致的旧知识遗忘,提出混合曲率空间蒸馏策略 L3DMC,以兼顾知识保留与新概念学习。 方法结合 Euclidean 与 hyperbolic 固定曲率空间的低维表示,通过正定核映射到更高维的再生核希尔伯特空间(RKHS),再最小化新样本表示与由旧表示构建的子空间之间的差异。其关键区别是,不直接在低维嵌入上施加强约束,而是借助多种曲率的表示能力及 RKHS 中的子空间约束维持既有几何结构。作者认为,这能减轻过强稳定性对新知识学习的限制。 作者报告,在三个医学图像分类基准的终身学习设置中,该策略表现有效;摘要未提供基准名称、任务顺序、数据划分、对照方法或具体指标,因此效果幅度与适用边界尚未验证。核函数、子空间构建方式、旧表示的存储与更新、实验协议、消融及统计信息也需查阅全文。摘要提供了公开代码地址,但实现细节与复现条件尚未核验。 平台推测(待验证):若 EEG 顺序任务学习中的遗忘也与表示几何漂移有关,可考虑复用混合曲率表示与 RKHS 蒸馏模块,并改造 EEG 编码器及任务构造。该假设依赖可比较的新旧表示及旧知识子空间;低信噪比、小数据、被试差异或通道变化可能使几何估计不稳定,或将无关差异保留下来。一个可检验的小实验是在固定通道的 EEG Cross-session 顺序学习中,对比相同编码器下的无蒸馏、低维蒸馏与 L3DMC,分别评估旧会话遗忘和新会话学习表现。相关 EEG 工作尚未检索确认,医学图像结果不构成 BCI 有效性证据。
值得核对其混合曲率表示与 RKHS 子空间蒸馏能否缓解终身学习中的稳定性—可塑性冲突;摘要报告了医学图像分类验证并提供代码,但尚不能据此确认 EEG/BCI 适用性。
来源:OpenReview · State space models · openreview.net