通过零空间约束策略优化缓解安全对齐代价

基于摘要分析。本文研究 LLM 在强化学习安全对齐过程中遗忘已学通用能力的问题，即安全对齐代价（alignment tax），提出 Null-Space constrained Policy Optimization（NSPO），试图在改善安全行为的同时保持数学、代码和指令遵循等能力。主要研究对象是 LLM 安全对齐，并非 EEG/BCI。 核心机制是将安全策略梯度在几何上投影到通用任务的零空间，约束安全更新对原有能力的影响。作者声称理论上证明 NSPO 能保持模型原有核心能力，同时仍保证有效安全对齐的下降方向。摘要未说明通用任务零空间的具体定义、构造方式、近似计算方法及理论成立条件，因此尚不能将该保证理解为任意模型与训练条件下均不会遗忘。 作者报告，在所开展的实验中，NSPO 相比现有方法取得更好的安全表现，并保持通用任务准确率；作者将安全表现描述为达到 SOTA，但摘要未提供基线、评估指标或具体分数。关于数据效率，作者报告只使用 PKU-SafeRLHF 公开人工标注安全数据的 40% 即取得有希望的安全表现，且不需要现有对齐方法所用的大量混合通用任务数据。该比例对应安全训练数据用量，不是性能提升幅度；数据抽样、划分及比较协议尚未验证。模型规模、训练成本、消融及统计信息也尚未验证。 平台推测（待验证）：若 EEG 模型的跨被试适配也面临更新新任务时遗忘原有能力的问题，可检验零空间约束更新这一机制，而非直接迁移 LLM 安全对齐任务。该假设依赖可代表旧任务的 EEG 数据及可计算的保护子空间；可复用梯度投影思想，但需改造任务目标、子空间估计和适配流程。低信噪比、通道差异与小样本可能使保护子空间估计不稳定，或过度限制新被试学习。一个小实验是在固定 Cross-subject 划分、相同适配数据与更新预算下，对比普通微调与投影约束微调，同时测量新被试性能及旧被试性能变化。该方向已有 EEG 相关工作尚未检索确认。