Structure-Aligned Steering:用于激活控制的任务空间操作
Structure-Aligned Steering: Task-Space Operations for Activation Control
基于摘要分析。本文研究模型激活控制中,线性添加引导向量难以表达任务固有结构的问题,提出 Structure-Aligned Steering:通过编码器—解码器接口,将隐藏状态映射到具有任务结构的坐标空间,在该空间施加变换,再转换为模型可读取的隐藏状态。主要研究对象是模型内部激活的结构化控制,并非 EEG 或 BCI。 在具有预设星期坐标的任务中,作者报告,一次旋转可使输出朝下一个星期日推进,分数步操作可组合并使输出在相邻星期日之间平滑转移,且能够闭合循环。这里的“星期日”指一周中的各个日期类别,而非仅 Sunday。作者将这些性质作为区别于线性引导的关键能力。 对于没有明确坐标目标的情形,方法通过匹配由几何结构导出的输出分布进行学习。作者报告,稀疏数字混合可展开为连续圆环,颜色编码则保留 RGB 立方体的邻域关系和近似距离,解码器进一步将这些关系带入隐藏状态。扰动坐标或采用与任务不一致的几何监督会降低准确率,为几何组织与控制效果的联系提供实验线索。 在应用验证方面,作者构建了面向模运算的 steerer–aligner 系统,并报告其在八个模型上优于参数量匹配的 PEFT 基线。摘要未提供模型名称、数据划分、准确率数值或增益幅度,不能据此判断跨设置的稳定性;编码器与解码器结构、训练目标、变换约束、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 控制任务具有明确的周期或邻域结构,该任务空间接口可能成为表征控制的候选机制,但原文结果不构成 EEG/BCI 有效性的证据。其迁移依赖可定义的任务坐标与相应监督,并需验证低信噪比及跨被试变化下的几何稳定性;已有 EEG 相关工作尚未检索确认。
值得关注其将隐藏状态控制从线性平移改为任务结构空间中的可组合变换;摘要提供了几何扰动和参数量匹配 PEFT 对照的线索,但具体收益及其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net