通过任务自适应低秩表示实现多任务学习中的高效知识迁移

基于摘要分析。本文研究预训练语言模型（PLMs）面对训练中未见任务时的高效知识迁移，提出基于 prompt tuning（PT）的 Task-Adaptive Low-Rank Representation（TA-LoRA），以低秩表示刻画任务异质性，并通过快慢权重机制区分共享知识与任务特异知识。主要研究对象是语言模型的多任务学习，而非 EEG 或 BCI。 在摘要描述的 PT 框架中，PLM 参数保持冻结，任务特异的可学习向量作为前缀补充承载共享知识的原始提示。TA-LoRA 针对这类向量表征能力有限的问题，引入低秩表示；其中慢权重编码共享知识，快权重捕获任务特异差异，旨在缓解从头训练低秩表示时两类知识混合的问题。此外，方法使用零初始化注意力，降低预热阶段尚未成熟的低秩组件对原始提示的扰动。具体参数化方式、快慢权重更新规则、损失及训练流程尚未验证。 作者报告，在 16 个任务的全量数据与少样本设置下，TA-LoRA 达到最先进性能，并保持较高的参数效率。摘要未列出任务名称、数据划分、模型规模、对照方法、评价指标及具体分数，因此尚不能判断增益幅度或不同设置下的稳定性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若多个 EEG 任务或被试间确有可分离的共享与特异因素，快慢权重分解可能有助于研究共享适配与个体适配之间的干扰。但原方法依赖 PLM、提示接口及多任务数据，不能直接视为 EEG 方法；需改造 EEG 编码器的适配接口，并明确任务或被试监督如何参与训练。低信噪比、通道差异及小样本可能使特异权重拟合噪声。一个可检验的小实验是在固定 EEG 编码器和相同参数预算下，按严格的跨被试划分比较单一适配器与快慢权重适配器，并消融零初始化注意力，观察目标被试少样本适配表现及训练稳定性。相关 EEG 工作尚未检索确认。