HypCL:在双曲空间中适配 CLIP 以实现持续学习
HypCL: Adapting CLIP in Hyperbolic Space for Continual Learning
基于摘要分析。本文研究视觉语言模型 CLIP 在持续学习中如何兼顾预训练知识保持与下游判别特征学习,提出参数高效框架 HypCL,在双曲空间中持续适配 CLIP,并使用视觉原型校准推理预测。其主要研究对象是视觉语言模型的类别增量学习,并非 EEG 或 BCI。 核心机制:作者认为,双曲几何随空间半径指数扩张的容量有利于容纳不断增长的类别空间并增强类间分离。HypCL 添加任务专属适配器,在 Poincaré 球中顺序组合各适配器的更新;同时维护由适配后特征计算的视觉原型,将其作为推理阶段预测校准的稳定锚点。相较于摘要所述通常冻结主干以保留预训练知识的 CLIP 持续学习方法,该方案强调通过参数高效适配提升下游特征的判别性。具体主干更新范围、双曲映射、更新组合运算、损失及原型维护规则尚未验证。 作者报告,HypCL 在标准类别增量基准上持续优于既有 CLIP 持续学习方法,但摘要未提供基准名称、类别与任务划分、对照方法、指标或数值。实验协议、消融及统计信息尚未验证;需进一步核对推理是否依赖任务标识,以及适配器和原型存储随任务增长的成本。 平台推测(待验证):其“增长类别空间—双曲表示—原型校准”机制可作为 EEG 类别增量学习的研究假设,但原方法依赖 CLIP 预训练表示、任务专属适配及类别原型,不能直接视为 BCI 效果证据。可考虑复用双曲更新组合与原型校准模块,另行改造 EEG 编码器和特征映射;低信噪比、被试与通道差异、小样本条件可能使原型不稳定。一个可检验的小实验是在固定被试内类别增量划分及相同 EEG 编码器、适配参数预算下,对照欧氏与双曲组合,并分别开关原型校准,比较新旧类别 Accuracy 与遗忘程度。该迁移仅是假设,已有 EEG 相关工作尚未检索确认。
值得核对其在 Poincaré 球中顺序组合任务适配器更新、并以视觉原型校准预测的机制,是否在类别增量协议下兼顾新类判别与旧类保持;摘要中的性能结论尚需全文验证。
来源:OpenReview · State space models · openreview.net