统计量目标匹配引导大语言模型推理

基于摘要分析。该研究针对大语言模型推理时引导中，行为测量与固定引导方向或隐式优化目标相耦合的问题，提出在紧凑的代表性统计量空间中显式匹配目标状态的框架，无需更新模型参数。 方法先指定期望的统计量目标，再估计所选激活坐标的扰动对统计量的局部响应，求解带正则化的最小代价干预，使统计量向目标移动。对于可微统计量，响应可通过解析方式获得；其他情形可借助局部忠实的可微代理近似。因此，该框架既支持学习得到的行为探针，也支持基于模型内部机制的状态测量。其关键设计是将“希望达到何种行为状态”与“如何以较小代价干预激活”分开处理，而非仅沿固定方向施加扰动。 作者在两个设置中评估方法：一是在 TruthfulQA 上使用精确的注意力头探针统计量进行真实性引导；二是在检索增强生成中使用基于 ReDeEP 的机制统计量缓解幻觉。作者报告，目标导向的逆向控制器在所比较基线中取得最高 MC1 和 MC2，幻觉评分降幅与基线相当；在上述两种设置下，所选注意力头的修改量分别减少 28.9% 和 41.5%。摘要未明确这两个降幅各自采用的参照基线及修改量定义，不能将其解释为计算成本或错误率的同幅下降。 当前尚未验证模型配置、目标统计量设定、局部响应估计成本、正则化细节、实验协议、消融及统计信息，尤其需核对较大干预下局部近似的有效范围。原研究对象是 LLM 激活控制，并非 EEG 解码或 BCI；材料未提供可直接对应神经信号任务的机制路径，因此不据此推断 BCI 有效性。相关 EEG 工作尚未检索确认。