面向多模态持续指令微调的零空间正交微调

基于摘要分析。本文研究多模态持续指令微调（MCIT）中，多模态大语言模型（MLLMs）学习新任务与保留既有知识之间的稳定性—可塑性权衡，提出 Null-space Orthogonal Fine-Tuning（NOFT），通过联合满足零空间和正交约束的任务特定变换，降低持续适配中的任务干扰。 核心机制：作者指出，Orthogonal Fine-Tuning（OFT）的正交变换本身不能显式控制对先前任务的干扰，而直接叠加零空间约束又不足以保证正交性。NOFT 因此从变换参数化入手，同时满足两类约束。针对 OFT 固定块对角结构对可塑性的限制，方法进一步引入 plasticity-aware permutation，重排可训练块的位置，以捕获更多当前任务的梯度信息，同时不增加参数预算。摘要未披露零空间的构造依据、具体参数化公式、块选择规则或训练目标。 结果与证据边界：作者报告，在 LLaVA-v1.5-7B 和 Qwen3-VL-8B 上、针对两个 MCIT 基准的实验中，NOFT 能有效平衡稳定性与可塑性，并达到 SOTA。摘要未提供基准名称、任务顺序、评价指标、数值结果及对照方法，因此目前不能量化其优势，也不能比较不同持续学习协议下的表现；实验协议、消融及统计信息尚未验证。 该研究的主要对象是 MLLMs 的持续指令适配，并非 EEG 解码或 BCI。其联合约束与参数重排机制是否适用于神经信号模型尚未验证，已有 EEG 相关工作尚未检索确认。复现首先需要核对任务历史信息如何用于构造零空间、约束是否严格成立，以及稳定性和可塑性分别如何评估。