CLOSER:面向小样本类增量学习的更优表征学习
CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning
基于摘要分析。CLOSER 研究小样本类增量学习(Few-Shot Class-Incremental Learning,FSCIL):在仅有少量新类别样本时学习新类别,同时保留基类知识。其核心贡献是提出在更受限的特征空间中维持特征分散,以平衡表征的可迁移性与可判别性,而非一味增大类间距离。 技术机制:摘要采用在基类上训练后固定特征提取器的设定,以缓解过拟合与灾难性遗忘,因此主要优化对象是基类阶段的表征学习。不同于强调最大化类间距离的思路,作者主张更接近的类别表征可以更有利于 FSCIL;这一主张应理解为其方法及评估条件下的结论,不能推广为所有分类任务的通则。摘要未提供约束特征空间、促进特征分散的具体实现或损失形式。 证据与复现:作者报告经验结果及信息瓶颈理论视角的分析支持该方法,但摘要未列出数据集、增量阶段设置、每类样本数、对照基线或性能指标,因而无法判断收益幅度和适用边界。材料提供了代码地址,但实现细节、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务确实包含“基类训练后固定编码器、以少量标注样本逐步加入新类别”的设定,其表征几何约束可能对应新类别可迁移性与旧类别可判别性的矛盾。可复用的是基类表征约束思路;EEG 编码器、预处理和增量分类模块仍需适配,并依赖基类标注数据及明确的类别增量协议。低信噪比、被试差异、通道变化和基类样本不足可能使类别靠近演变为类别混淆。一个可检验的小实验是在固定被试与通道条件的 EEG 类增量任务上,保持相同编码器、训练预算和增量分类器,对比常规表征训练与 CLOSER 约束,分别检查旧类、新类及全部已见类别的 Accuracy。该实验仅用于检验迁移假设,已有 EEG 相关工作尚未检索确认。
值得核对其“受限特征空间中的特征分散”如何平衡可迁移性与可判别性,尤其是类间距离缩小有利于 FSCIL 的适用条件;该结论尚不能直接视为 EEG/BCI 的有效策略。
来源:OpenReview · Representation learning · openreview.net