通过嵌入自适应更新与超类表示实现增量少样本语义分割
Incremental Few-Shot Semantic Segmentation via Embedding Adaptive-Update and Hyper-class Representation
基于摘要分析。本文研究增量少样本语义分割(IFSS):利用少量标注图像逐步增加可分割类别,同时缓解旧类别特征漂移导致的灾难性遗忘,以及新类别像素级监督不足引发的过拟合。作者提出 EHNet(Embedding adaptive-update and Hyper-class representation Network),以类别嵌入表示类别专属语义,以超类嵌入表示类别间共享语义。 机制上,嵌入自适应更新策略通过超类表示保留旧知识,并利用类别注意力机制更新类别嵌入,纳入各增量学习阶段的新类别。为缓解少样本过拟合,方法通过聚类所有类别嵌入初始化超类嵌入,再将其与新类别嵌入对齐以增强表示。核心思路是利用已学得的共享语义支持新类别学习,而非仅依赖新类别的少量训练样本。 作者报告,在 PASCAL-5i 和 COCO 的实验中,EHNet 达到新的最优性能;但摘要未给出具体指标、数值、类别划分、增量阶段设置及对照方法,不能据此量化优势。损失函数、嵌入更新细节、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务具有可复用的类别共享结构,类别嵌入与超类嵌入的分工可能为增量增加运动想象类别提供机制参考,但图像像素语义与 EEG 时空模式并不等价。可复用候选是嵌入更新和共享表示模块,需改造信号编码器与任务输出;低信噪比、跨被试差异、通道变化及小样本下不稳定的类别聚类均可能使共享表示失效。一个可证伪的小实验是在固定被试内划分和每类标注预算下逐步加入运动想象类别,对照仅使用类别嵌入与加入超类表示两种设置,分别检查旧类保持和新类识别表现。已有 EEG 相关工作尚未检索确认。
值得核对 EHNet 如何通过类别专属与类别共享嵌入协调增量学习中的旧知识保留和少样本适应,但摘要不足以验证其性能优势及对 EEG 的适用性。
来源:OpenReview · Representation learning · openreview.net