删除应置于何处?交错持续学习中的决策精确删除与表征层残留
Where Should Deletion Live? Decision-Exact Deletion and Representation-Level Residuals under Interleaved Continual Learning
基于摘要分析。本文研究视觉感知与身份注册系统在持续部署中交错接收学习和删除请求时,应在哪一层实现删除,并提出以保留类别统计量闭式重拟合分类头的 LEDGER。其主要贡献是区分停止输出已删除类别的操作性删除,与消除表征中相关信息这两个不同目标,而非提出 EEG 或 BCI 方法。 研究采用冻结的 ViT-B/16 骨干、共享 LoRA 适配器、回放与解析分类头,考察交错持续学习—遗忘(CLU)中的删除位置。作者报告,停用已删除类别对应的分类器行,即可达到所比较梯度遗忘基线中的最强表现,并将删除延迟从数十秒降至毫秒级;具体硬件、计时边界及基线设置尚未验证。LEDGER 则利用保留类别的统计量重新拟合分类头。作者报告,在 CASIA-Face100 的该 CLU 评估中,LEDGER 相比停用分类器行将保留类别 Accuracy 提高 7.5 个百分点,并以更低成本达到不含已删除类别的重训练 oracle 的表现;具体划分、重复次数及成本口径尚未验证。 作者还通过以 oracle 为参照的恢复探针发现:尽管部署系统未出现删除逆转,随着后续学习进行,已删除身份仍越来越容易从表征中恢复。这说明决策层不再输出某身份,并不等于表征层已消除该身份的信息。作者据此建议将操作性删除放在决策层,同时把表征层删除作为独立属性持续审计和定期复评。 复现时需核对学习与删除请求序列、回放及类别统计量的处理方式、oracle 的训练条件,以及恢复探针的访问权限、监督信息与评估协议。全文未取得,实验协议、消融及统计信息尚未验证;摘要也不足以判断该机制对 EEG/BCI 的适用性,已有 EEG 相关工作尚未检索确认。
该研究区分决策层删除与表征层信息残留,并在交错学习—遗忘场景中检验删除后的持续可恢复性,值得核对其删除语义、恢复探针及计算成本评估。
来源:OpenReview · Representation learning · openreview.net