RADAR:分离置信度修复、采纳与审计
先了解这件事
基于摘要分析:RADAR(arXiv:2610.22139)针对LLM标量置信度校准无法充分利用额外信息的问题,将修复、是否部署修复及残余误差审计分开。PAIC利用正确性探针对无标签目标提示的预测学习单调映射;配对程序控制错误采纳,按提示聚类的核检验处理同一提示下答案依赖性。 作者报告,在多个模型检查点、基准及分布偏移设置中,更丰富的预测器可改善置信度估计,但投影回标量分数可能损失收益,风险下降也不保证复核决策改善。在47,400次原始分数分配重放中,paired betting采纳留出测试风险更低候选的比例为42.95%,单侧empirical Bernstein为15.09%;这不是回答准确率或错误采纳率。 具体基准、划分、探针训练及统计细节尚未验证;目前无可核对的版本变化。摘要仅承诺接收后发布代码与数据,不代表已接收或开放。平台分析:迁移至EEG仍需验证被试或会话依赖及探针条件偏差,不能视为已有BCI实证。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv · 泛化与分布偏移精选你确定你的 LLM 真有把握吗?置信度修复与审计
该研究针对 LLM 置信度重校准只能修正标量分数所表达误差的问题,提出 RADAR(Repair, Adopt, and Diagnose After Recalibration),将置信度修复、是否采用修复及剩余误差审计分开处理。基于摘要分析,未取得论文全文。 理论上,作者在平方损失下将预测风险分解为结果噪声、被分数隐藏的信息及映射误差;若将修复限制为保序映射,还会引入 pooling gap。修复方法 Probe-Anchored Isotonic Calibration(PAIC)利用正确性探针在无标签目标提示上的预测学习单调映射。作者指出,其超额风险取决于探针在给定分数条件下的偏差与拟合误差,而非探针的整体准确率;探针自身如何训练尚未验证。 在采纳环节,作者提出配对程序,对错误判定改进提供有限样本控制;在审计环节,提出按提示聚类的核检验,在考虑同一提示下答案依赖性的同时,检测与特征相关的残差误差。作者报告,在多个 LLM 检查点、基准与分布偏移设置中,更丰富的预测器可以改善置信度估计,但将其信息投影回标量分数可能损失收益,预测风险降低也不必然改善人工复核决策。在 47,400 次重放的原始分数分配中,paired betting 采纳留出测试风险更低候选的比例为 42.95%,单侧 empirical Bernstein 为 15.09%;该比例不是回答准确率,也不能单独说明错误采纳率。 平台推测(待验证):这一框架可能用于 EEG 分类器的置信度与拒识审计,但依赖可用的置信分数、正确性监督及合理的依赖分组。可复用保序校准和配对采纳思路,需将 LLM 提示分组改造为适合 EEG 被试或会话结构的分组。低信噪比、小样本与跨被试偏移可能使正确性探针产生条件偏差。一个可检验的小实验是在固定 Cross-subject 划分下,分别比较校准风险与复核决策收益,并用独立留出数据评估采纳结果;这不是已验证的 BCI 效果,已有 EEG 相关工作尚未检索确认。 具体基准、划分、探针构造、消融及统计细节尚未验证。摘要称代码与数据将在接收后发布,不能据此视为已接收或已公开。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。