早期学习塑造持续学习中后续表征变化的方向
Early Learning Shapes Later Directions of Representational Change in Continual Learning
基于摘要分析。本文研究持续学习中,早期任务引起的表征变化是否形成持久的几何结构,并影响后续任务的学习方向。作者将早期表征漂移形成的低维子空间称为 scaffold,考察后续表征变化是否持续复用该子空间。 作者报告,在四个预训练视觉编码器和两个数据集上,后续表征变化相比匹配的随机替代子空间,更倾向于落在早期定义的 scaffold 中。在早期任务不同、后续训练输入相同的对照下,各网络仍优先复用自身学习历史形成的 scaffold,支持这种几何偏好具有历史依赖性。摘要未提供编码器、数据集名称、子空间维度、匹配规则或效应量。 作者报告,单次优化器更新也呈现同样的方向偏好,即使网络占主导的局部响应方向已偏离原始 scaffold。进一步施加限制 scaffold 内运动的约束,相比匹配的随机约束,更明显地减慢新任务习得;对旧任务保持的影响则不够一致。因此,这些结果主要支持早期几何结构参与后续适应,尚不能据此认定它能稳定缓解遗忘。具体约束实现、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若连续 EEG 任务适应也存在历史依赖的表征漂移,scaffold 可作为分析跨会话适应路径的工具,而非已验证的 BCI 算法。可复用的是早期漂移子空间估计与历史对照思路,需改造的是适配 EEG 编码器及通道布局的表征对齐;摘要未明确原实验对监督信号及训练规模的依赖。低信噪比、被试差异、通道变化和小样本可能使估计子空间主要反映噪声。一个可检验的小实验是在同一 EEG 编码器中设置不同早期任务顺序、保持后续训练输入一致,比较后续漂移对各自 scaffold 与匹配随机子空间的投影偏好。已有 EEG 相关工作尚未检索确认。
值得关注其通过学习历史对照与子空间约束实验,检验早期表征漂移是否持续影响后续适应方向;具体几何估计方法及统计稳健性仍需全文核对。
来源:OpenReview · Representation learning · openreview.net