跳到正文
OpenReview · Representation learning· Femi Bello; Anubrata Das; Fanzhi Zeng; Fangcong Yin; Liu Leqi·· 2025-12-31精选AI 评分74

线性表征可迁移性假设:利用小模型引导大模型

Linear Representation Transferability Hypothesis: Leveraging Small Models to Steer Large Models

AI 导读

基于摘要分析。本文研究不同规模语言模型的隐藏表征能否通过简单映射对齐,并据此将小模型中的行为引导方向迁移至大模型。作者提出 Linear Representation Transferability(LRT)假设,使用隐藏状态之间的仿射映射,检验迁移后的 steering vectors 是否保留其原有语义作用。 其概念框架假定:在相同数据上训练的模型,其表征可由一组与任务相关、跨模型规模保持一致的通用基特征线性组合而成;LRT 进一步提出不同模型的表征空间之间存在仿射变换。实验思路不是仅比较表征相似性,而是将与特定模型行为相关的隐藏状态方向经映射迁移,以行为是否保持来检验对齐效果。作者报告,在所评估的不同规模语言模型之间,学得的仿射映射能够保留 steering 行为,并将其视为支持 LRT 假设的经验证据;摘要未提供模型名称、训练数据、映射拟合方式、行为任务或量化指标,适用范围及理论成立条件尚未验证。 平台推测(待验证):若同一 EEG 任务上训练的不同规模模型也具有可对齐的任务表征,该机制或可用于检验小模型中的任务相关方向能否迁移至大模型。可复用部分是隐藏表征的仿射对齐与方向迁移检验;需改造部分包括 EEG 输入、通道配置及行为评估目标,且需有配对输入产生的表征。低信噪比、跨被试差异、通道不一致及小样本映射拟合均可能使该假设失效。一个小规模可证伪实验是:固定同一 EEG 数据集、任务与通道,在训练划分上拟合两个规模模型的表征映射,在独立测试划分上比较迁移方向与随机方向干预的任务效应,并以大模型内直接估计的方向作参照。相关 EEG 工作尚未检索确认;原论文实验协议、消融及统计信息尚未验证。

阅读价值

值得关注其以跨模型仿射映射迁移 steering vectors 的可检验机制,但摘要中的语言模型行为保持证据尚不能说明该机制适用于 EEG 表征。

来源:OpenReview · Representation learning · openreview.net