利用跨域潜在同源关系的终身解耦表征学习
Life-Long Disentangled Representation Learning with Cross-Domain Latent Homologies
基于摘要分析。本文研究分段平稳视觉数据上的无监督终身表征学习,提出 Variational Autoencoder with Shared Embeddings(VASE),目标是在持续获得新知识时保护并复用已有表征,缓解灾难性遗忘。 机制上,VASE 以 Minimum Description Length(最小描述长度)原则为基础,自动检测数据分布变化,并将备用表征容量分配给新知识,同时保护已学习的表征。方法鼓励潜在表征解耦,使不同数据集能够共享具有语义意义的潜变量。摘要未给出具体目标函数、分布变化判定规则、容量分配方式或旧表征保护的实现细节。 作者报告,VASE 能合理处理歧义输入,通过基于想象的探索改善自身表征,并在不同数据集之间形成语义上有意义的潜变量共享;相较于使用纠缠表征的基线,能够超越表层统计进行有语义意义的跨域推断。摘要未列出数据集、定量指标或具体评估协议,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其“检测分布变化—分配容量—保护旧表征”的机制,可能对应 EEG 跨会话漂移与持续学习中的遗忘问题,但这只是迁移假设。原方法依赖分段平稳视觉数据及可跨域共享的潜在因素;EEG 的低信噪比、被试差异和通道变化可能使分布检测主要响应伪迹,或使共享潜变量不对应任务因素。可考虑复用容量管理思路,但需改造面向 EEG 的编码器、重建目标及变化检测标准。一个可证伪的小实验是在按时间顺序划分的多会话 EEG 上,以一致的数据与标签访问条件比较 VASE 适配版与普通 VAE 的持续更新,检验旧会话表征的固定评估读出是否更稳定,同时核对新会话适应表现。已有 EEG 相关工作尚未检索确认。
值得关注的是 VASE 将分布变化检测、表征容量分配与跨域潜变量共享结合起来,但其抗遗忘与语义迁移效果仍需结合全文实验核对,尚不能视为 EEG 场景的有效性证据。
来源:OpenReview · Representation learning · openreview.net