论 fit-on-test 视角在分类器校准评估中的用途

基于摘要分析。本文研究分类器预测置信度的校准评估，提出 fit-on-test 视角：将测试数据上拟合的校准映射用于评估校准程度，而非将其简单等同于常规预测模型的测试集训练。核心贡献是连接后处理校准与校准评估，并由此拓展评估方法的设计空间。 后处理校准通常在验证数据上拟合某类校准函数，以估计未知的真实校准映射。作者提出，在校准评估过程中，也可在测试数据上拟合校准映射，从而将后处理校准方法转化为评估量。作者报告证明了常用的 ECE 本质上也是一种 fit-on-test 度量，并据此提出通过交叉验证选择 ECE 分箱数的方法；其证明条件、交叉验证划分与具体计算流程尚未验证。 其他贡献包括以 diagonal filling 增强可靠性图、提出 PL 与 PL3 校准映射族，以及比较不同映射族作为后处理校准器和校准评估器的表现。摘要未给出数据集、分类器、数值结果或具体优胜方法，无法据此判断效果幅度。作者明确讨论了测试时过拟合的风险；实验协议、消融及统计信息尚未验证。应区分“为估计校准程度而拟合映射”与“利用测试标签改进部署预测”，不能由该视角推出测试数据可不受限制地用于模型选择。 平台推测（待验证）：这一评估视角可能用于检查 EEG 分类器的置信度是否可信，但不直接构成 EEG 解码方法。可复用部分是校准评估框架与 ECE 分箱选择思路；需针对跨被试、跨会话分布变化及小样本条件调整数据划分。低信噪比、通道变化和有限标签可能使拟合映射不稳定。一个可检验的小实验是在固定跨被试划分下，比较常规 ECE 与交叉验证选箱 ECE 在不同评估样本量下的稳定性，并用独立保留数据核验评估结论。已有 EEG 相关工作尚未检索确认。