减少参数高效持续学习中的预训练表征退化

基于摘要分析。本文研究预训练模型在参数高效持续学习中的表征退化问题，提出 Anchored Orthogonal Low-Rank Adaptation（AO-LoRA）：将任务特定的正交变换锚定到预训练模型，并在共同参考空间中累积，以维持跨任务适应的一致参考，同时保留低秩微调的参数效率。 作者指出，现有 LoRA 持续学习方法主要关注新任务学习和任务间干扰，而连续低秩更新可能逐步改变预训练表征，损害已学任务表现并引起适应不稳定。AO-LoRA 的机制重点因此不只是隔离任务更新，而是维持适应过程中表征结构的参考基准。具体正交约束、低秩参数化、更新累积方式及训练目标尚未验证。 作者报告，在四个视觉基准上，相较现有基于 LoRA 的持续学习方法，AO-LoRA 以更少的可训练参数取得更优或相当的表现，并改善训练稳定性，尤其是在较大学习率下。摘要未提供基准名称、任务序列、数据划分、指标数值及参数统计口径，实验协议、消融及统计信息尚未验证。作者称补充材料提供代码，并计划公开发布；公开仓库状态尚未验证。 平台推测（待验证）：若 EEG 预训练模型需要依次适应新被试或新会话，锚定预训练表征可能有助于缓解适应后旧任务能力下降。可复用候选是低秩更新与共同参考空间约束，但需适配 EEG 模型的参数结构，并明确任务边界与顺序更新协议。低信噪比、通道布局变化和小样本可能使固定参考妨碍必要适应；视觉基准结果不能证明 BCI 有效性。一个可证伪的小实验是在固定 EEG 预训练骨干上，按被试或会话顺序对比普通 LoRA 与 AO-LoRA，在匹配可训练参数和训练预算下，同时评估新任务表现与旧任务保持情况。相关 EEG 工作尚未检索确认。