一种技能,多种模型:通过稀疏行为测试学习表示兼容性
One Skill, Many Models: Learning Representation Compatibility from Sparse Behavioral Tests
基于摘要分析。本文研究 LLM 间技能迁移时的表示兼容性:即使技能流程不变,模型也可能对语义等价的指令结构与可执行组织方式产生不同响应。作者提出预算受限的诊断框架 SkillProbe,在技能适配前识别模型特定的表示偏好,并将诊断结果用于后续技能适配。 机制上,SkillProbeBank 提供 156 个匹配探针与 360 个语义等价变体,覆盖 14 类指令及可执行组织因素。SkillProbe 使用层次贝叶斯画像追踪偏好效应与不确定性,再依据单位成本下对表示决策的预期改进选择探针。该画像可作为现有技能迁移、生成、冷启动和版本漂移修复方法的条件信息;其主要贡献是提供可复用的行为诊断信号,而非替换底层 LLM。 作者报告,在完整探针库预算的 20% 下,SkillProbe 使用 198K tokens,与完整探针库所得表示决策达到 84.3% 的一致率,并以更低成本优于自适应低预算基线。这里的一致率衡量表示决策接近程度,不等同于下游任务成功率。作者另报告,与强技能学习方法集成后,该方法在 ALFWorld、WebShop、SkillsBench 和 SWE-Skills-Bench 上取得最佳平均排名;在涉及 Gemma、Llama、Qwen 及 GPT-4o 目标模型的七个额外迁移设置中,SkillGraph+SkillProbe 在 28 次配对基准比较中的 27 次优于 SkillGraph。 摘要未提供具体模型版本、预算核算细则、各任务指标与效应大小。实验协议、消融及统计信息尚未验证,需结合全文核对探针偏好如何映射为适配决策,以及诊断成本是否计入整体迁移成本。研究对象是 LLM 技能适配,材料未提供 EEG/BCI 验证,也未建立可直接迁移到神经信号解码的具体机制对应关系。
值得阅读的是其将技能迁移中的表示选择拆解为可探测偏好,并以单位成本的预期决策改进分配测试预算;摘要报告了低预算诊断与下游迁移收益,但完整协议及收益归因尚未验证。
来源:OpenReview · Representation learning · openreview.net