跳到正文
OpenReview · State space models· Stefan Horoi; Sangwoo Cho; Supriyo Chakraborty; Shixiong Zhang; Sambit Sahu; Guy Wolf; Genta Indra Winata·· 2025-12-31精选AI 评分74

利用参数空间对称性实现 LLM 推理技能迁移

Leveraging Parameter Space Symmetries for Reasoning Skill Transfer in LLMs

AI 导读

基于摘要分析。本文研究 LLM 在训练后发生参数空间偏离时,task arithmetic 技能迁移易受负干扰的问题,提出先对齐模型参数空间、再进行技能迁移的策略。主要研究对象是 LLM 之间的推理技能迁移,并非 EEG 或 BCI。 方法利用 Transformer 架构固有的置换、旋转与缩放对称性进行参数空间对齐,并针对现代 Grouped-Query Attention(GQA)与 SwiGLU 层作适配。作者探索了基于权重和基于激活的对齐路径;摘要未披露具体对齐目标、优化过程、激活采集数据要求,以及模型之间需要满足的结构兼容条件。 作者报告,在具有挑战性的推理基准上,该先对齐策略能够将高级推理技能迁移到非推理模型,并持续优于标准 task arithmetic。摘要未提供模型名称、基准名称、评估划分、指标或具体数值,因此尚不能判断收益幅度、跨模型家族的覆盖范围及计算成本。减少重复微调、增强模型适应性是作者提出的应用价值,尚需结合正文中的成本与效果对照核验。 复现时需重点核对对齐所用数据及其与评测数据的关系、不同对称性与对齐路径的独立贡献、迁移后的原有能力保持情况,以及对照配置。实验协议、消融及统计信息尚未验证。当前材料未建立其机制与 EEG/BCI 任务的具体对应关系,不据此推断 BCI 有效性;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以参数空间对齐缓解 task arithmetic 负干扰的具体机制,以及对 GQA 与 SwiGLU 的适配;作者报告了推理技能迁移收益,但收益幅度、适用边界与复现条件尚未验证。

来源:OpenReview · State space models · openreview.net