跳到正文
arXiv · 表征与预训练· Junlin Chen; Wenhao Wang; Junchao Xu; Qingsong Yao; Fei Xue; Li Sun; Xiao Wang; Ruijie Wang·· 19 小时前精选AI 评分73

MAEM:通过无回放、容量受控的动态混合专家缓解类增量图学习中的近期偏置

MAEM: Mitigating Recency Bias via a Replay-Free, Capacity-Controlled Dynamic Mixture of Experts for Class-Incremental Graph Learning

AI 导读

基于摘要分析。MAEM 面向类增量图学习中预测偏向近期类别及灾难性遗忘的问题,提出无回放、容量受控的动态混合专家框架。其主要贡献是在推理时不依赖任务标识或共享可训练路由器,并通过专家合并限制模型容量。 方法以 Simplified Graph Convolution(SGC)构建表征,为每个新学习阶段训练专属专家,随后冻结以保护已有知识。每个专家使用掩码自编码器(MAE),测试节点被分配给重建误差最低的专家。该设计旨在避免共享路由器持续接触新数据后偏向近期专家;但不同专家的重建误差是否可比、是否能可靠反映类别归属,仍需结合正文实验核对。 当专家池达到固定容量时,MAEM 通过 Git Re-Basin 对齐并合并使用最少的专家,再利用从 MAE 分布合成的拓扑感知伪数据,以 DeepInversion 风格进行蒸馏,形成融合专家。摘要明确其不存储或重新访问历史图数据,因此需区分“不回放历史数据”与“不使用合成伪数据”。 作者报告,在四个类增量图基准上,MAEM 缓解了近期偏置、优于强持续图学习基线,并在严格无回放条件下保持模型容量有界。摘要未提供基准名称、具体指标、划分、容量上限或计算开销;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务可表示为通道图,且类别逐阶段到达,可研究其专家冻结与重建误差路由机制;这不等同于已验证的 EEG/BCI 方法。迁移需改造图表征及伪数据生成,使其符合 EEG 时序与通道结构。低信噪比、跨被试差异和小样本可能使重建误差反映噪声或个体差异,而非类别知识。一个可证伪的小实验是在固定通道图与一致容量预算下,比较 MAE 路由和共享可训练路由器的旧类保持及新类识别表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以 MAE 重建误差替代持续训练路由器、并在容量上限下合并专家的机制,是否能在严格无回放的类增量图学习中同时缓解近期偏置与知识遗忘;其 EEG/BCI 适用性尚未验证。

来源:arXiv · 表征与预训练 · arxiv.org