跳到正文
OpenReview · State space models· Donghao Sun; Xi Wang; Xu Yang; Kun Wei; Cheng Deng·· 2025-09-19精选AI 评分70

面向无标签数据流持续学习的双空间语义协同蒸馏

Dual-Space Semantic Synergy Distillation for Continual Learning of Unlabeled Streams

AI 导读

基于摘要分析。本文研究视觉领域的无标签数据流持续学习,针对视觉聚类伪标签噪声及灾难性遗忘,提出融合视觉与文本信息的双空间混合伪标签,并利用语义对齐蒸馏维持已学习知识。 机制上,作者先使用大型多模态模型为少量代表性样本生成可泛化的文本描述,再通过“Coarse to Fine”细化描述,以捕捉数据点之间的细微差异;随后将细粒度文本描述与视觉特征融合,构建混合监督信号;最后借助语言知识的稳定性进行语义对齐蒸馏,以缓解遗忘。摘要未给出代表性样本选择方式、描述细化流程、跨模态融合公式、蒸馏损失或历史信息存储策略,这些实现条件尚未验证。 作者报告,该方法在多个基准上达到 state-of-the-art 表现,并以消融研究支持各组件的有效性;但摘要未列出基准名称、数据流划分、对照方法、指标及数值,无法据此判断提升幅度或不同持续学习协议下的适用范围。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,稳定的外部语义锚点可能帮助无标签 EEG 数据流减少伪标签漂移与跨会话遗忘。原方法依赖视觉—文本对应关系及大型多模态模型的描述能力,不能直接视为 EEG 能力;可借鉴混合伪标签与语义蒸馏框架,但需改造 EEG 特征编码、语义锚点生成及对齐模块。低信噪比、通道变化、跨被试差异及小数据可能使文本语义与信号特征错配,反而固化错误伪标签。一个可检验的小实验是:在固定 Cross-session 无标签适应协议与相同历史信息预算下,对比纯 EEG 聚类、加入任务语义锚点、再加入语义蒸馏三种配置,分别核对新会话性能及旧会话遗忘程度,并明确语义锚点使用的信息来源。已有相关 EEG 工作尚未检索确认。

阅读价值

值得核对其以细粒度文本语义改善无标签持续学习伪标签、并通过语义对齐蒸馏缓解遗忘的机制,但具体收益与向 EEG 迁移的可行性尚未验证。

来源:OpenReview · State space models · openreview.net