理解灾难性干扰:潜在表示的可辨识性
Understanding Catastrophic Interference On the Identifibility of Latent Representations
基于摘要分析。本文研究机器学习模型适应新任务时对既有任务的灾难性干扰(灾难性遗忘),从潜在表示学习角度将其表述为辨识问题,并提出两阶段训练方法 ICON,以识别和学习不同任务配置之间的共享潜变量。 理论框架以部分任务感知(partial-task aware,PTA)与全部任务感知(all-task aware,ATA)两种设置之间的距离量化遗忘。作者报告,借助可辨识性理论,识别两种设置间的共享潜变量能够最小化该距离。ICON 首先使用最大似然估计学习 PTA 与 ATA 配置中的潜在表示,随后通过优化 KL 散度识别并学习共享潜变量。摘要未给出距离的具体定义、可辨识性假设、KL 散度的计算对象,以及两种配置在训练时各自需要哪些数据。 作者报告,该方法在合成数据和基准数据上缓解了灾难性干扰,并获得实际性能改善,但摘要未提供数据集名称、任务序列、对照方法、指标或数值。实验协议、消融及统计信息尚未验证,理论保证的适用条件也需结合全文核对。 平台推测(待验证):该机制可能对应 EEG 模型持续适应新会话或新被试时保留既有能力的问题,但原文研究对象是通用机器学习,并未提供 EEG 或 BCI 验证。可考虑复用共享潜变量的学习思路,但需改造 EEG 编码与任务配置,并确认 ATA 所需信息在持续学习条件下是否可得。低信噪比、通道变化和小样本可能使共享表示难以辨识,跨被试差异也未必能由共享潜变量充分解释。若全文确认实施条件可满足,可在固定通道的 Cross-session 顺序学习中,以相同历史数据访问预算比较 ICON 与顺序微调,分别测量旧会话性能下降及新会话性能,以检验其是否真正减少遗忘。相关 EEG 工作尚未检索确认。
值得关注其将灾难性遗忘转化为潜在表示可辨识性问题的理论路径;复现时应重点核对 PTA 与 ATA 的信息可用性、共享潜变量的辨识条件及其与遗忘指标的对应关系。
来源:OpenReview · Representation learning · openreview.net