何时辅助隐藏状态探针无法改善 LLM 的选择性排序

基于摘要分析。该研究面向 LLM 候选答案的选择性排序，考察将正确性探针与辅助隐藏状态探针的信号通过带符号的 logit 空间差值组合，能否优于仅使用正确性探针。辅助探针可估计标注一致性、问题难度等属性；论文同时提出两个用于描述辅助探针的诊断指标。 作者报告，在三个指令微调 LLM 家族、八个 NLP 数据集上的全部 13 个恢复出的非恒定配置中，固定差值组合的平均风险–覆盖曲线下面积（AURC）均高于正确性探针。按风险–覆盖评估的通常解释，较高 AURC 表示较差表现，因此该结果不支持这一固定组合改善排序；“恢复出的非恒定配置”的具体定义、模型与数据集名称、划分及数值幅度尚未验证，不能将其解读为所有配置均失败。 Supervision–Target Correlation（STC）衡量辅助监督目标与问题级对比选择错误代理之间的边际关联；Bootstrap Disagreement Diagnostic（BDD）衡量拟合探针对重采样的敏感性。作者报告，两者均不能预测排序改善，仅适合作为筛查工具。摘要称附录包含数据集内目标消融、学习式组合基线、长度混杂审查，以及层与池化方式敏感性分析；具体实验协议、消融结果及统计信息尚未验证。主文结论仅针对固定系数 −1，不适用于学习式组合或辅助监督整体。 平台推测（待验证）：若 EEG 解码系统已有候选预测及正确性探针，可检验辅助质量或难度信号是否真正改善拒答排序，而非仅与错误相关。可复用风险–覆盖评估及重采样诊断，但需改造辅助目标与信号表示；低信噪比、跨被试或通道变化及小数据可能使探针不稳定。一个小实验是在固定 EEG 任务与相同划分下，对比正确性探针、固定差值组合和学习式组合的 AURC，并以被试为单位重采样。此假设不构成已验证的 EEG 效果，相关 EEG 工作尚未检索确认。