AlphaWiSE:用于持续多模态表征学习的自适应权重插值
AlphaWiSE: Adaptive Weight Interpolation for Continual Multimodal Representation Learning
基于摘要分析。本文研究音频、图像与文本检索模型在顺序适应过程中遗忘既有跨模态关系的问题,提出事后权重空间插值方法 AlphaWiSE,将顺序微调终点与偏重稳定性的持续学习终点融合为一个部署检查点。 核心机制是冻结两个端点模型,在样本记忆上为每对对应参数张量拟合一个标量插值系数,再将插值后的张量实体化为单一模型。与所有检索方向共用一个最终检查点所隐含的统一稳定性—可塑性折中相比,该方法在参数张量层面学习融合比例;摘要并未说明使用检索方向专属系数,不应将其理解为按方向切换模型。作者称,部署模型保持单一骨干的架构与推理成本;这不等于训练和系数拟合没有额外开销。 作者报告,在音频—图像—文本检索实验中,AlphaWiSE 在多个检索方向与评估指标上持续优于较强的持续学习基线。摘要未提供数据集名称、任务序列、划分、指标名称或具体数值,收益幅度、系数拟合目标、样本记忆容量及使用方式、端点构建方法、消融与统计信息尚未验证。 平台推测(待验证):其潜在可迁移机制是利用少量保留样本,在结构对应的稳定端点与适应端点之间学习参数融合比例,而非直接迁移音频—图像—文本检索结论。假设 EEG 跨会话适应也存在类似折中,可复用插值框架,但需改造端点训练与系数拟合目标;低信噪比、小样本及被试差异可能使系数过拟合,通道变化也可能破坏参数对应关系。一个可证伪的小实验是在固定通道的 Cross-session 设置下,仅用历史会话保留样本拟合系数,在独立后续会话比较两个端点、统一系数插值与张量级插值。已有 EEG 相关工作尚未检索确认。
值得关注其以参数张量级插值协调持续学习稳定性与可塑性的机制,以及合成为单一检查点的部署方式;具体增益、样本记忆使用协议及对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net