跳到正文
OpenReview · Representation learning· Laziz Abdullaev; Noelle Y. L. Wong; Ryan Lee T. Z.; Shiqi Jiang; Minh-Khoi Nguyen-Nhat; Tan Minh Nguyen·· 2026-05-01精选AI 评分75

概念异质性感知的表征引导

Concept Heterogeneity-aware Representation Steering

AI 导读

基于摘要分析。本文研究 LLM 推理时的表征引导:当目标概念在激活空间中呈现聚簇、上下文依赖的异质结构时,单一全局引导方向可能不够稳健。作者提出 Concept Heterogeneity-aware Representation Steering(CHaRS),通过语义潜在簇之间的最优传输构造输入依赖的激活干预。 核心机制是重新解释基于对比数据均值差的全局 steering。作者指出,这种方法隐含对应于两个除一阶矩外分布形状相同的分布之间的最优传输映射,因此得到全局平移。CHaRS 则将源表征与目标表征建模为 Gaussian mixture models,在语义潜在簇之间求解离散最优传输,再通过重心投影得到显式引导映射,以平滑的核加权组合整合各簇的位移。其主要区别是允许不同输入使用不同的局部干预,而非统一施加一个方向。 作者报告,CHaRS 在多种实验设置下比全局 steering 实现了更有效的行为控制;摘要未提供具体模型、任务、数据划分、评价指标、收益幅度或推理开销,实验协议、消融及统计信息尚未验证。摘要提供了公开代码地址,但运行条件及复现完整性尚未核验。 平台推测(待验证):若 EEG 解码器的潜在表征也存在与任务相关的多模态结构,簇间传输与输入依赖位移可能用于探索跨被试或跨会话表征对齐;这是假设,并非本文已证实的 EEG/BCI 效果。原方法依赖可区分的源、目标表征及可估计的簇结构,具体监督方式和样本规模尚未验证。迁移时可借鉴离散最优传输与重心投影,但需重新定义 EEG 的源目标分布及干预位置。低信噪比、小样本、通道差异或被试特异伪迹可能使聚簇反映噪声而非任务语义。可在固定 EEG 编码器、严格隔离测试数据的 Cross-session 设置下,对比不干预、全局均值平移与簇级传输,并分别限定目标会话是否参与拟合,以检验局部映射的作用。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将单一全局激活平移推广为基于语义簇最优传输的输入依赖干预机制,但相对全局 steering 的收益幅度、计算代价及适用边界尚需全文验证。

来源:OpenReview · Representation learning · openreview.net