跳到正文
OpenReview · Representation learning·· 2025-05-20精选AI 评分74

RECALL:通过层次化模型合并实现表征对齐的灾难性遗忘缓解

RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging

AI 导读

基于摘要分析。本文研究大语言模型(LLMs)持续学习中的灾难性遗忘,提出表征感知模型合并框架 RECALL,在不访问历史数据的条件下,利用模型内部表征指导知识对齐与参数融合。主要研究对象是 NLP 持续学习,而非 EEG 或 BCI。 机制上,RECALL 在聚类得到的典型样本上提取逐层隐藏表征,计算模型间相似度,再进行自适应、层次化参数融合。作者将内部表征视为已学知识的可靠代理,并认为这一设计能够保留浅层的领域通用特征,同时允许深层适应具体任务。摘要未给出典型样本的来源、聚类方法、相似度定义、融合规则及模型结构兼容条件,这些实现细节尚未验证。“不访问历史数据”不应扩展理解为完全不需要样本,因为其相似度计算仍使用典型样本。 作者报告,在五项 NLP 任务及多种持续学习场景中,RECALL 的知识保留与泛化表现优于基线,并称其不需要任务标签。摘要未提供任务名称、数据划分、具体基线、指标数值或计算开销,因而尚不能量化收益或判断适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若兼容的 EEG 模型在不同会话间存在可对齐的层级表征,可假设用表征相似度指导模型合并,缓解适应新会话时对旧会话的遗忘。可复用的是相似度驱动的融合思路,需改造的是 EEG 典型片段选择及通道、时间维度的表征对齐;低信噪比、小样本与通道变化可能使相似度失真,浅层通用、深层任务特异的假设也未必成立。可在同一被试的跨会话数据上,以结构兼容模型比较 RECALL 式融合与固定权重融合,同时评估新旧会话表现,旧会话数据仅用于评估。相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是,RECALL 如何利用分层表征相似度指导参数融合,并在不访问历史数据的持续学习中保留旧知识;其对 EEG 跨会话适应的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net