LSA-PAST:面向组合增量学习的层特异性适配与原型传输
LSA-PAST: Layer-Specific Adaptation and Prototype Transport for Compositional Incremental Learning
基于摘要分析。本文研究视觉领域的组合增量学习(composition-IL):新任务持续引入状态与对象的新组合,模型需在学习新组合的同时保留旧组合知识。作者提出参数高效方法 LSA-PAST,通过层特异性适配与旧原型的空间传输,缓解共享原语表征纠缠及漂移。 机制上,LSA 在冻结的 ViT 中引入 Low-Rank Adaptation(LoRA),以不同深度的适配器分别处理状态、对象与组合。PAST 则使用当前任务数据拟合无需样本回放的仿射变换,将过去锚定的原型映射至当前适配器空间,使旧原型与更新后的适配器保持兼容。其关键思路不是将每个组合完全视为独立类别,而是显式处理共享原语及适配器更新造成的原型空间不一致。具体层位、原型构建、变换拟合目标与训练流程尚未验证。 作者报告,LSA-PAST 在 composition-IL 实验中取得了最先进的准确率与遗忘权衡表现;摘要未提供数据集、任务划分、对照方法、指标定义或数值,因此目前不能量化优势,也不能判断其在不同增量协议下的稳定性。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移假设是,当 EEG 任务具有可明确标注、重复组合的因素结构时,分层适配与原型空间校准可能有助于缓解增量学习中的表征漂移。可复用的是参数高效更新及原型传输思路;需改造视觉输入编码、因素定义与适配器分工。EEG 低信噪比、跨被试差异、通道变化和小样本可能使原型及仿射映射估计不稳定,视觉中的深度分工也不一定成立。若有满足因素结构的数据,可固定被试内增量协议,对比仅使用 LoRA 与加入原型传输的模型,检验旧任务准确率及遗忘变化,并核对旧样本与标签访问边界。已有 EEG 相关工作尚未检索确认。
值得核对其按深度区分组合原语的适配机制,以及仅用当前任务数据校准旧原型的方案,但作者报告的准确率与遗忘权衡优势及其 EEG 迁移价值仍需验证。
来源:arXiv · 在线与高效推理 · arxiv.org