跳到正文
arXiv · 架构与算子· Seungyoon Woo; Keonhee Park; Gunhee Kim·· 4 天前精选AI 评分71

COMET:面向任务无关持续视觉—语言学习的解耦蒸馏、路由与容量控制

COMET: Decoupled Distillation, Routing, and Capacity Control for Task-Agnostic Continual Vision--Language Learning

AI 导读

基于摘要分析。本文研究视觉—语言模型在任务依次到达、历史数据不可用、任务身份未知且主干无法重新训练时的持续学习问题,提出 COMET(Collaborative Mixture-of-Expert Transfer),通过分离特征参照、专家塑形、路由和容量控制,协调多模态表征保持与持续适应。 作者将困难归纳为模态一致性漂移、表征空间干扰和单任务容量不足,而不只归结为稳定性—可塑性权衡。冻结教师仅在共享图像—文本池上提供特征参照;Tri-Affinity Distillation 保持图像—图像、文本—文本和图像—文本的几何关系;Student-Aware Cross-Expert Distillation 将新专家与兼容的既有专家对齐,旨在减轻路由错误造成的性能退化。容量管理与推理解耦:上下文 bandit 根据训练后信号决定保留或合并完整的单任务专家,重建路由器则在测试时选择稀疏专家,不依赖教师语义。 作者报告,在 X-TAIL benchmark 上,各提议组件均改善持续学习表现。摘要未提供具体指标、数值、任务序列、基线或资源开销,实验协议、消融及统计信息尚未验证。复现时需核对共享图像—文本池的构成与访问条件、专家兼容性的判定方式、bandit 的反馈信号及合并规则,以及路由与容量增长的计算代价。 平台推测(待验证):其机制可能对应 EEG 持续解码中专家累积与未知会话路由的问题,但原研究依赖视觉—语言表征及共享多模态数据池,不能直接推导 BCI 有效性。假设仅迁移专家对齐、重建路由和容量管理,仍需改造 EEG 编码器与重建目标;低信噪比、通道变化和小样本可能使重建误差无法可靠指示专家适用性。一个可证伪的小实验是在不回放历史数据、测试时不提供会话身份的 Cross-session EEG 序列中,比较固定专家库与加入路由及容量控制后的表现,同时记录遗忘和推理开销。已有相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是 COMET 如何将多模态几何保持、专家协同、推理路由与容量控制分离;作者报告各组件在 X-TAIL 上均有增益,但具体效果、资源开销及其对 EEG 的适用性尚未验证。

来源:arXiv · 架构与算子 · arxiv.org