跳到正文
OpenReview · State space models·· 2026-08-23精选AI 评分79

别再边缘化我的梦:持续学习中基于 Laplace kernel 的模型反演

Stop Marginalizing My Dreams: Model Inversion via Laplace Kernel in Continual Learning

AI 导读

基于摘要分析。本文研究无数据类别增量学习(DFCIL)中的模型反演:在无法访问旧数据时,利用冻结分类器及已存储的特征统计合成回放样本,以缓解灾难性遗忘。作者提出结构化协方差框架 REMIX,旨在突破对角协方差忽略特征维度间依赖的限制,同时避免稠密协方差的高计算开销。 核心机制是在通道坐标上用 Laplace kernel 参数化特征依赖,并利用该核的线性高斯状态空间表示计算似然与对数行列式。作者报告,该计算无需近似或显式构造稠密协方差矩阵,可实现线性内存与近线性时间复杂度。这里的通道指模型特征通道,不能直接等同于 EEG 电极;通道坐标的定义、估计方式及复杂度成立条件尚待正文核对。 作者报告,在 CIFAR-100、Tiny-ImageNet 和 CUB-200 上,使用 ResNet、ViT 与 CLIP 骨干时,REMIX 均改善了早期任务的保持能力,并获得更高的特征对数似然和更连贯的合成样本。摘要未提供具体分数、类别增量划分、对照方法或资源测量,实验协议、消融及统计信息尚未验证,不能据此量化改善幅度。 平台推测(待验证):若 EEG 类别增量学习同样依赖特征统计驱动的无数据回放,可检验“保留潜在特征相关性是否优于对角统计”这一假设。可复用的是结构化协方差及其高效似然计算,需改造的是 EEG 特征坐标定义和信号反演约束;低信噪比、跨被试漂移、通道变化及小样本统计不稳定均可能使相关性模型失效。一个小规模检验是在固定 EEG 编码器、相同类别增量划分与回放预算下,仅替换对角协方差和 REMIX 统计模型,比较旧类别保持与计算开销。该假设不构成已验证的 EEG/BCI 效果,相关已有工作尚未检索确认。

阅读价值

值得核对 REMIX 如何借助 Laplace kernel 的状态空间表示,以可扩展计算保留特征相关性并改善无数据回放;其在 EEG 持续学习中的适用性尚未验证。

来源:OpenReview · State space models · openreview.net