面向无回放持续学习的潜在空间提示生成
Generating Prompts in Latent Space for Rehearsal-free Continual Learning
基于摘要分析。本文研究无回放持续学习中的提示生成问题,提出 Generating Prompts in Latent Space(GPLS):不只关注生成器架构,而是将提示视为潜变量,通过潜变量建模与训练目标为提示生成提供指导,以缓解顺序学习中的知识遗忘。 核心机制是使用可训练编码器,将任务信息与特征信息通过重参数化技术编码为提示,并以与 Mahalanobis distance 相关的证据下界(ELBO)指导训练。作者认为,潜变量建模能够刻画提示生成的不确定性,也契合提示插入隐藏层输出、间接影响分类的作用方式。摘要未给出潜变量分布、ELBO 的具体形式、提示插入位置或基础模型配置,这些实现条件尚未验证。 作者报告 GPLS 在多个基准上达到最先进性能,但摘要未列出数据集、任务序列、对照方法、具体指标或数值,因此尚不能判断收益大小及适用范围。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但代码内容、运行依赖及复现结果尚未核验。 平台推测(待验证):若 EEG 分类系统采用可插入提示的预训练骨干,且数据按会话依次到达,潜变量提示与 ELBO 训练机制可能用于探索跨会话持续适应;这是假设,不是论文已验证的 EEG/BCI 结果。可考虑复用编码器与训练目标的设计思路,但需改造 EEG 特征接口及任务信息表示,并核对推理时是否需要任务标识。低信噪比、通道变化与小样本可能使提示分布估计不稳定。一个可检验的小实验是在固定骨干和相同无回放协议下,对比确定性提示与潜变量提示,评估新会话分类表现及旧会话遗忘;相关 EEG 工作尚未检索确认。
值得关注的是 GPLS 将提示生成建模为潜变量推断,并用与 Mahalanobis distance 相关的 ELBO 指导训练;其无回放持续学习效果及向 EEG 跨会话适应的可迁移性仍需分别核验。
来源:OpenReview · State space models · openreview.net