保留预训练表征空间：论 prefix-tuning 在大型多模态模型中的有效性

基于摘要分析。本文研究大型多模态模型（LMMs）在参数高效微调（PEFT）过程中如何利用并保留预训练表征，提出两阶段策略 Prefix-Tuned PEFT（PT-PEFT）：先进行 prefix-tuning，再进行 Adapter 或 LoRA 微调，以结合表征保持与下游任务适应的优势。 作者报告，LoRA、Adapter 等调整模型参数的策略会使预训练特征表征空间发生扭曲，限制预训练知识的利用；相比之下，prefix-tuning 更有利于保持表征空间，但其下游任务表现较弱。这是作者在所研究设置中的发现，不能据此推断所有模型或任务均存在相同权衡。PT-PEFT 的关键是训练顺序，而非仅将不同 PEFT 模块并列组合。 在图像描述生成和视觉问答任务上，作者报告 PT-PEFT 相比常规 PEFT 方法提升了性能，并有助于保留所评估的四个预训练模型的表征空间。摘要未提供模型与数据集名称、数据划分、具体指标、提升幅度及表征保持的度量方式；两阶段训练的参数冻结方式、计算预算对齐、消融与统计信息尚未验证，也无法据摘要确认表征保持是否构成性能提升的因果机制。 平台推测（待验证）：若 EEG 预训练模型具有可插入前缀的结构，并已有可迁移的表征，可假设该训练顺序有助于缓解小样本下游适配对预训练表征的扰动。可复用的是顺序微调思路，前缀插入位置与信号输入模块则需适配 EEG。低信噪比、被试差异及通道配置变化可能使原有表征本身不再适用，保持表征未必有益。一个可检验的小实验是在固定 EEG 模型、数据划分和训练预算下，对比 prefix-tuning、LoRA 与 PT-PEFT，同时观察下游指标和表征变化。上述 EEG 收益未获本文摘要支持，已有 EEG 相关工作尚未检索确认。