学习决策而非推理:通过低秩激活引导实现参数高效的决策算子
Learning to Decide, Not to Reason: Parameter-Efficient Decision Operators via Low-Rank Activation Steering
基于摘要分析。研究面向冻结语言模型的技能注入,提出以行为克隆训练的 System-1 决策算子 DecSteer,尝试用低秩激活引导替代高成本的强化学习技能算子,并减少决策时的长文本推演。 核心机制是共享低秩骨干与零初始化的输出投影。作者指出,既有算子的初始化会使两个大型因子矩阵在首次优化时梯度为零,而 DecSteer 的输出投影能够立即接收梯度;作者报告以梯度流探针直接验证了这一差异。其解释将可训练性的改善归于初始化与架构的共同作用,而非单纯压缩 chain-of-thought。作者还报告,logit-lens 探针显示算子沿模型已有的后层路径增强答案信号,而不是将答案提前写入较早层。 作者报告,默认算子以 330K 参数达到或超过一个使用强化学习训练、含 1.33M 参数的对照算子,并在所述比较中将 3,685-token 推演缩短为 6-token 决策且不损失准确性。rank-4 变体含 23K 参数,为其所比较的最强已发表技能算子参数量的 1/58;该变体在 SearchQA 上已足够,在 LiveMath 上接近足够,但更高秩仍有帮助。上述比较的具体数据划分、指标定义与任务级结果尚未验证,不能据此认定对任意任务均能保持准确性。 作者报告,该训练方案可用于五个任务和三个骨干模型,且在训练数月后发布的 LiveMath 问题上仍有分布外收益;收益与基础模型的提升空间相关,技能算子还可近似线性地相加、插值,并在推理时热切换。技能组合的有效范围与干扰程度仍需核对全文。 复现应重点核对行为克隆的示范来源、低秩算子的插入位置、初始化细节、训练与推理成本,以及强化学习对照的评估条件。实验协议、消融及统计信息尚未验证。材料未提供 EEG/BCI 实验,不能将语言模型中的收益视为脑信号任务中的已验证效果;已有 EEG 相关工作尚未检索确认。
值得核对的是低秩算子的初始化如何改善梯度流,以及行为克隆能否在相同任务协议下替代强化学习训练并缩短决策输出;摘要中的效率与准确性结论仍需全文验证。
来源:arXiv · 在线与高效推理 · arxiv.org