Angular Steering:通过激活空间旋转控制行为
Angular Steering: Behavior Control via Rotation in Activation Space
基于摘要分析。本文研究如何控制大语言模型的特定行为,同时保持其通用能力,提出 Angular Steering,将激活干预表述为固定二维子空间内朝向或远离目标行为方向的旋转,以连续调节拒答、遵从及情绪等行为。 机制上,作者指出,向量加法与方向消融同样受激活和特征方向所定义的二维子空间约束,其效果可能对参数选择敏感,并通过激活空间中的相互作用影响非目标特征。Angular Steering 以旋转作为统一几何框架,涵盖既有加法与正交化技术;其变体 Adaptive Angular Steering 仅旋转与目标特征对齐的激活,旨在提高干预的选择性、稳定性与生成连贯性。目标方向如何获得、对齐判据、干预位置及旋转参数的具体定义尚未验证。 作者报告,在多个模型家族及规模上的实验中,该方法能够稳健控制行为,并维持一般语言建模性能。但摘要未提供模型名称、任务数据、具体指标、基线配置或数值,不能据此量化其收益,也不能确认不同干预方法是否在等强度控制条件下比较。实验协议、消融及统计信息尚未验证。摘要提供了代码与研究产物地址,但其内容及复现完整性尚未核验。 该工作的主要对象是大语言模型激活干预,而非 EEG 解码或 BCI。平台推测(待验证):若 EEG 解码器中存在可稳定识别、且能与任务信息区分的干扰特征方向,旋转干预或可用于检验该方向对预测的影响;这需要重新构建特征方向与选择性干预判据,不能直接套用语言行为方向。低信噪比、跨被试及通道差异可能使方向不稳定,小数据也可能导致目标方向与有效任务信息混杂。可证伪的小实验是在固定 EEG 解码器和相同数据划分下,对比无干预、方向消融与旋转干预,检查预定义干扰敏感性下降时任务性能是否保持。相关 EEG 工作尚未检索确认,此假设不构成已验证的 BCI 效果。
值得核对其以几何旋转统一激活加法与正交化干预的机制,以及选择性旋转能否减少非目标行为扰动;摘要报告了跨模型验证,但具体评估协议与稳定性证据尚未验证。
来源:OpenReview · State space models · openreview.net