跳到正文
OpenReview · Representation learning· Joonkyu Kim; Yejin Kim; Jy-yong Sohn·· 2025-05-01精选AI 评分77

衡量持续学习中的表征变化:线性变换视角

Measuring Representational Shifts in Continual Learning: A Linear Transformation Perspective

AI 导读

基于摘要分析。本文研究持续学习中旧任务的表征遗忘,提出 representation discrepancy,用于衡量同一模型在持续训练过程中两个快照所构建的表征空间之间的差异,并据此分析遗忘的动态规律。原论文主要面向通用持续学习理论及图像任务,而非 EEG 或 BCI。 核心机制是以表征空间差异作为隐藏层遗忘的代理量。作者报告,该指标能够有效代理表征遗忘,同时保持数学上的可分析性;作者声称提供了表征遗忘的首次理论分析,但这一优先性尚未独立核实。摘要未给出指标的具体公式、线性变换的约束、分析所依赖的网络与训练假设,因此尚不能判断该指标如何区分可逆的坐标变化与影响旧任务信息的实质性变化。 作者报告,理论分析表明,层索引越高,表征遗忘发生得越快、程度越大;增加网络宽度则会减缓遗忘过程。作者在包括 Split-CIFAR100 和 ImageNet1K 的真实图像数据集上开展实验,支持上述理论发现。摘要未提供任务序列、数据划分、对照方法、定量结果及统计信息,实验协议、消融及统计信息尚未验证;这些规律不能据此直接推广至其他架构或神经信号任务。 平台推测(待验证):若 EEG 模型在顺序学习不同被试或会话时产生隐藏表征漂移,该指标可能作为旧任务性能之外的诊断工具。可复用的是模型快照间的表征比较思路;需要核对其数学假设,并适配 EEG 编码器、通道布局和固定评估样本。低信噪比、跨被试差异及小样本估计误差可能使表征差异更多反映数据变化,而非遗忘。一个可检验的小实验是在固定通道的 Cross-session 顺序学习设置下,用同一组保留的旧会话样本比较各层快照,检查 representation discrepancy 是否与旧会话性能下降一致,并设置不更新模型的对照。该实验仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

该研究将持续学习中的表征遗忘转化为可分析的 representation discrepancy,值得核对其与实际任务遗忘的对应条件,以及层深、网络宽度结论的理论适用范围。

来源:OpenReview · Representation learning · openreview.net