arXiv · 泛化与分布偏移· Gukhyeon Lee; SangKeun Lee·· 1 天前精选AI 评分73
RL-ARC:通过推理引导的不确定性校准大型推理模型
RL-ARC: Calibrating Large Reasoning Models via Reasoning-guided Uncertainty
AI 导读
基于摘要分析。研究关注可验证奖励强化学习(RLVR)提升语言模型推理能力时可能伴随的校准退化与过度自信,提出联合利用推理置信度和答案置信度的校准感知训练框架 RL-ARC。 核心机制是将推理置信度作为校准答案置信度的辅助信号:对正确回答施加推理引导的正则化,对错误回答施加过度自信惩罚。摘要未说明两类置信度如何计算、正则项与惩罚项的具体形式,以及它们如何与原有训练目标组合,这些实现细节尚未验证。 作者报告,在分布内(ID)与分布外(OOD)设置下,RL-ARC 改善了校准,使模型能够根据问题自适应估计置信度,同时未显著牺牲推理性能。摘要将已有校准感知训练方法描述为在分布偏移下仍可能过度自信,并存在推理性能损失;但未提供基线名称、任务、数据集、模型规模、校准指标或具体数值,因此无法判断收益大小及适用边界。实验协议、消融及统计信息尚未验证。 复现时需核对推理置信度是否提供独立于答案置信度的信息、正确与错误样本的判定方式、OOD 构造及性能与校准的联合评估。该方法直接面向语言推理模型,不能据此认定对 EEG/BCI 有效;摘要不足以确定其置信度机制如何对应 EEG 解码,迁移价值待评估,已有 EEG 相关工作尚未检索确认。
阅读价值
值得核对 RL-ARC 如何利用推理置信度约束答案置信度,以及其在分布外条件下改善校准与保持推理性能的权衡;具体收益和实验协议尚未验证。
来源:arXiv · 泛化与分布偏移 · arxiv.org