表征调优
Representation Tuning
基于摘要分析。该研究针对 LLM 的行为控制,将推理时通过激活向量进行在线引导的方法转为训练阶段的表征约束,以减少生成时持续干预的需要;主要研究对象是 Llama-2-13b-chat 的诚实性行为,而非 EEG 或 BCI。 方法上,作者先识别与诚实性相关的激活向量,再在生成过程中向残差流激活加入这些向量的正向或负向倍数,以改变输出行为。Representation Tuning 则将残差流激活与目标向量的余弦相似度约束,与标准 token 损失结合进行微调,尝试将相应行为方向固化到模型中。摘要未给出向量提取过程、损失权重及具体干预位置,这些实现细节尚未验证。 作者使用探测诚实性的提示比较表征调优模型、仅使用 token 损失微调的模型,以及接受在线引导的未调优模型。作者报告,余弦相似度与 token 损失结合的微调比在线引导产生更强的行为调节效果,并比仅使用标准损失具有更好的泛化表现。摘要未提供定量指标、提示集构成或泛化评估的具体划分,因此不能据此判断效果幅度,也不能将这些结果直接解释为事实准确性或整体安全性的提升;实验协议、消融及统计信息尚未验证。 摘要提供了代码、数据及调优模型的公开地址,但资源完整性与复现条件尚未核验。其与 EEG/BCI 的关系目前仅限于表征约束这一通用方法层面,尚未检索确认相关 EEG 工作,也没有材料支持其在神经信号任务中的有效性。
值得核对其表征方向约束与 token 损失结合的训练机制,以及相对在线引导和仅 token 损失微调的泛化对照;摘要中的“诚实性”效果尚不能等同于可靠的安全保障。
来源:OpenReview · Representation learning · openreview.net