跳到正文
OpenReview · State space models·· 26 天前精选AI 评分81

答案候选项重塑语言模型决策:逐层动态与因果状态干预

Answer Candidates Reshape Language Model Decisions: Layer-wise Dynamics and Causal State Interventions

AI 导读

基于摘要分析。该研究考察多项选择题中的答案候选项是否只是测量语言模型知识的被动界面,并通过替换错误选项及干预隐藏状态,分析候选项如何改变内部计算与最终决策。主要研究对象是语言模型的多项选择行为,并非 EEG 或 BCI 解码。 作者为每道题构造配对输入:保持问题与正确答案不变,仅将错误选项替换为同一任务中不相关的其他候选项。在十五个任务、六个参数规模介于 3B 至 14B 的 Llama 和 Qwen 模型上,作者报告:相较于替换后的选项,原基准干扰项在 90 个模型—任务设置中的 86 个设置里,使模型最偏好选项的最后一次切换发生得更晚,并缩短正确答案持续保持领先的跨度;作者同时报告准确率降低 20.2 个百分点。摘要未提供具体任务名称、逐模型结果及该准确率差异的汇总方式,不能据此判断所有设置均出现相同幅度的下降。 为检验内部状态差异是否对预测产生因果影响,作者在配对输入之间转移最强错误答案最后一个 token 位置的隐藏状态。作者报告该干预使准确率提高 8.78 个百分点,且效果超过范数匹配的随机干预与跨问题转移对照。在另一个包含 360 道题的面板中,作者报告反转状态转移方向会反转总体行为效应。这些结果支持作者关于候选项会主动影响模型计算与决策的结论,但具体干预层、最强错误答案的确定方式及效应适用范围尚待全文核对。 阅读与复现重点是区分逐层偏好轨迹的描述性证据与状态干预的因果证据,并核对选项构造、答案位置、状态转移实现及对照条件。作者称代码见补充材料,目前未核验其内容;实验协议、消融及统计信息尚未验证。材料未提供与 EEG/BCI 的具体机制对应,因此不据此推断神经信号解码效果或提出迁移实验。

阅读价值

该研究通过配对替换错误选项与隐藏状态干预,检验多项选择评估中选项对模型计算和决策的影响,值得核对其控制实验及准确率变化的汇总协议。

来源:OpenReview · State space models · openreview.net