跨模型反馈检验语言模型的有限激活控制

基于摘要分析。该研究考察 LLMs 能否通过上下文内反馈控制自身激活，以及这种能力是否可能干扰激活监测器；核心贡献是设计跨模型对照与固定输出实验，尝试将生成合适文本的任务能力与对自身激活的控制区分开来。这里的“神经反馈”指模型接收由自身激活计算出的分数，并非人体 EEG 反馈或 BCI 实验。 方法上，研究让“受试”模型在每轮看到激活评分后，尝试最大化或最小化该分数。第一组实验分别由受试模型自身或另一个“写作”模型生成句子，但始终从受试模型的激活计算评分。作者报告，在来自五个模型家族、规模为 9B–32B 的十个开放权重模型中，部分模型能明显改变自身评分，但幅度不超过能力相近的写作模型，因此这一结果本身不能确认模型具有对自身激活的特殊访问能力。 为进一步排除文本生成差异，研究在每轮将固定句子预填充为受试模型的回复，再要求其提高或降低评分。作者报告，十个模型中有三个表现出较小但一致的控制效应。针对激活监测器，研究要求模型重复会触发监测的句子，例如面向欺骗监测器的欺骗性回答，再尝试改变监测评分；作者报告，没有模型学会降低评分，但有一个模型能够提高评分。 这些结果支持的结论限于：在所测模型与上下文内反馈设置下，少数模型表现出有限的激活控制，尚未展示通过降低监测评分来规避监测的能力，不能据此断言激活监测器普遍安全或已经失效。具体模型名单、激活提取位置、评分构造、反馈轮数、效应量、消融及统计信息尚未验证。研究对象是语言模型内部激活；摘要未提供可直接迁移至 EEG/BCI 的方法证据，不宜将其改写为人体神经调控成果。