用于学习稳定性的持续锚定流形嵌入(CAMELS)
Continual Anchored Manifold Embeddings for Learning Stability (CAMELS)
基于摘要分析。CAMELS 面向顺序学习中的表示漂移与灾难性遗忘,通过保持旧任务回放样本之间的成对余弦相似度来约束潜在空间几何,并将不同任务嵌入正交子空间,以兼顾旧知识稳定性与新任务学习。 其核心区别是不直接约束模型参数或匹配全局原型,而是保留旧任务内部的相对结构,允许表示坐标变化。作者将这一问题表述为演化潜在流形之间的局部等距保持,并称通过维持流形一致性与原型稳定性,可以对遗忘及分类风险给出理论界限;具体假设、界限形式及适用范围尚未验证。 作者报告,在 Split、Rotated 和 Permuted MNIST,以及 Split CIFAR-10 上,CAMELS 优于或持平于既有方法,并称潜在空间呈现清晰的任务与类别结构。摘要未提供具体指标、数值、基线名称、任务划分或回放预算,因此不能判断收益幅度及协议间可比性。任务身份是否在训练或推理时可用、正交子空间如何分配、几何约束如何优化,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可作为 EEG 跨会话持续学习中缓解表示漂移的候选方法,但依赖旧样本可回放,以及旧表示的相似度结构具有可保留价值。可复用成对余弦相似度约束,EEG 编码器、通道对齐和任务子空间划分则需适配。低信噪比可能使约束保留伪迹或被试差异,小数据下的相似度估计也可能不稳。一个可证伪的小实验是在相同 EEG 跨会话划分、编码器与回放预算下,对比仅回放和加入几何约束,分别评估旧会话遗忘与新会话性能。相关 EEG 工作尚未检索确认。
值得核对其以回放样本间相对几何而非固定表示坐标抑制遗忘的机制,以及理论保证的适用条件;摘要中的视觉基准结果尚不能证明其对 EEG 持续学习有效。
来源:OpenReview · Representation learning · openreview.net