跳到正文
OpenReview · State space models· Yuhang He; Yingjie Chen; Yuhan Jin; Songlin Dong; Xing Wei; Yihong Gong·· 2024-01-01精选AI 评分78

DYSON:面向在线无任务边界类别增量学习的动态特征空间自组织

DYSON: Dynamic Feature Space Self-Organization for Online Task-Free Class Incremental Learning

AI 导读

基于摘要分析。本文研究 Online Task-Free Class Incremental Learning(OTFCIL),提出 DYSON:先为已有类别计算用于分类的类别原型几何分布,在新类别出现时更新该几何,再训练深度神经网络,使其特征空间与目标几何对齐。主要贡献是将持续学习特征空间转化为“计算并对齐”的过程。 机制上,Dynamic Neural Collapse(DNC)负责计算和更新目标几何。作者称,DNC 可在新类别出现时扩展几何而不损失其最优性,并为旧类原型的漂移距离提供显式上界;最优性的定义、成立条件及上界形式尚未验证。DYSON 包含特征提取器、Dynamic Feature-Geometry Alignment(DFGA)模块,以及由 DNC 几何导出的免训练类别增量分类器。“免训练”仅指该分类器,不能据此认为特征提取器无需训练。 作者报告,在 CIFAR10、CIFAR100、CUB200 和 CoRe50 四个图像基准上的比较显示了方法的效率与性能优势,但摘要未给出具体指标、数值、数据流划分或对照方法,无法量化收益。实验协议、消融及统计信息尚未验证;还需核对类别标签的获得方式、是否使用样本回放,以及计算和存储开销。摘要提供了代码地址,但代码可用性及复现条件尚未核验。 平台推测(待验证):其潜在 EEG 对应场景是带标签的新类别持续进入的数据流,而非一般的跨被试或跨会话分布漂移。假设类别原型在 EEG 特征空间中具有稳定意义,可考虑复用 DNC 与几何分类器,并改造特征提取和对齐模块;低信噪比、被试与通道变化、小样本条件可能使原型估计不稳,削弱几何约束的收益。一个可证伪的小实验是在固定被试、固定通道的 EEG 数据中构造新类别逐步出现的数据流,使用相同骨干、监督及回放预算,对比动态几何与固定几何方案的旧类保持和新类学习表现。该迁移假设尚无本文实验证据,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其动态类别原型几何及旧类原型漂移上界,能否在类别持续出现时稳定特征对齐;摘要中的图像基准结论尚不能支持 EEG/BCI 有效性。

来源:OpenReview · State space models · openreview.net