基准饱和后用解题记录预测模型能力

该研究关注基准分数接近满分、难以区分模型能力后，完整解题记录能否继续提供有效评估信号，并比较多类记录分析协议预测未饱和任务能力的效果。基于摘要分析，研究对象是通用 AI 模型的能力评估，而非 EEG 解码或 BCI。 作者利用历史基准与模型发布信息，回溯模拟基准饱和，仅向评估协议提供饱和基准中正确解答的完整记录，再检验其能否预测留出的未饱和题目所测得的能力。比较的方法包括成对评判、单条记录的绝对评分，以及基于确定性记录特征或嵌入的预测。该设计重点考察：在答题正确性已难以区分模型时，解题过程是否仍包含增量能力信息。 作者报告，饱和基准的解题记录仍保留超出基准 Accuracy 的能力信息；在所评估协议中，成对评判表现最佳，相较仅使用饱和基准分数的基线，预测误差降低了 5.3 倍。摘要未明确该倍数对应的误差指标及聚合方式，尚需全文核对。作者报告，相关信号分布于记录的不同部分，但更集中于推理和工具调用等信息通道。 作者同时报告，预测能力并不总能跨分布偏移泛化，例如会低估 2025 年初推出的首批推理模型的能力。因此，结果支持继续利用饱和基准记录，而不支持将记录评判直接视为稳健的能力测量。具体基准、模型范围、评判器、数据划分、实验协议、消融及统计信息尚未验证；尤其需核对跨模型代际的外推设置和预测误差定义。 材料未提供与 EEG/BCI 的具体机制对应关系，不据此提出迁移效果或复现实验建议。