在关键之处保持稳定:持续学习中的决策敏感表征
Stability Where It Matters: Decision-Sensitive Representation in Continual Learning
基于摘要分析。本文研究预训练模型持续学习中的遗忘问题,提出 Decision-Sensitive Drift Regularization(DSDR):不再统一约束全部表征变化,而是根据历史分类器的决策几何,区分影响历史决策与对历史决策无影响的漂移,仅抑制前者,为新任务学习保留可塑性。 机制上,DSDR 将时间上的表征漂移分为决策敏感分量和决策零空间分量,把稳定性约束直接关联到历史预测的保持。作者说明,该原则可集成到参数高效持续适应中,不增加推理模块,也不改变推理流程。但摘要未给出具体分解方式、正则项公式、历史分类器的保存与更新方式,以及训练是否依赖历史样本,这些实现条件尚未验证。 作者报告,在 ImageNet-R 的严格类别增量学习协议下,分别采用 5、10、20 个任务设置,并结合 CIFAR-100 和 DomainNet 实验,方法在不同任务跨度下减少遗忘,同时取得有竞争力的最终 Accuracy。摘要未提供具体数值、基线或各数据集的完整划分,不能据此量化优势或直接比较不同协议;实验协议、消融及统计信息尚未验证。代码仅承诺在最终接收后公开,不能据此认定已接收或代码已可用。 平台推测(待验证):其可迁移假设是,EEG 持续适应中的部分表征变化可能不影响既有类别决策,因此可复用选择性漂移约束,而非冻结全部表征。适用前提是存在可利用的历史分类器决策几何;EEG 编码器、任务序列及历史决策参照需重新设计或核对。低信噪比、跨被试与通道变化可能使旧决策几何不可靠,小数据也可能导致约束估计不稳定。一个可证伪的小实验是在固定通道的 EEG 跨会话类别增量设置中,以相同编码器和更新预算比较 DSDR、整体表征约束及无约束适应,同时测量历史类别遗忘与新增类别 Accuracy。相关 EEG 工作尚未检索确认,原视觉任务结果不构成 BCI 有效性证据。
值得核对 DSDR 如何利用历史分类器的决策几何选择性约束表征漂移,以及其相对整体表征约束的遗忘—可塑性权衡;摘要尚不足以验证具体收益。
来源:OpenReview · Representation learning · openreview.net