当距离造成干扰：奖励模型 BT loss 中的表征距离偏差

基于摘要分析。本文研究 LLM 的 RLHF 奖励建模中 Bradley-Terry（BT）loss 的表征距离偏差，并提出自适应配对归一化方法 NormBT，旨在减少表征距离对更新幅度的干扰，使学习更聚焦于偏好预测误差；研究对象并非 EEG 或 BCI。 BT loss 使用 chosen 与 rejected 回答构成的成对偏好数据。作者通过逐样本梯度分析指出，梯度范数受到两个因素影响：回答对的预测奖励差所对应的误差信号，以及在最终层输出空间中测量的配对表征距离。作者认为，距离较小的回答对即使排序错误，也可能获得很弱的更新；距离较大的回答对则可能主导梯度，削弱模型对细粒度差异的学习。该结论适用的参数范围与推导条件仍需查阅正文确认。 NormBT 通过自适应配对归一化平衡上述距离效应。作者将其描述为可直接集成至 BT loss、额外开销可忽略的轻量修正，但摘要未提供归一化公式、梯度处理方式及计算开销测量协议。 作者报告，NormBT 在多种 LLM 骨干与数据集上持续改善奖励模型表现，并在 RewardBench 的 Reasoning 类别上获得超过 5% 的提升；作者称该类别包含大量小距离回答对。摘要未说明此处 5% 是相对提升还是百分点，也未列出具体骨干、基线配置和评估划分，因此不能进一步作跨协议比较。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 研究中存在采用 BT loss 的成对偏好学习任务，可检验配对表征距离是否同样影响优化；这不等于 NormBT 已对常规 EEG 分类有效。可复用的是配对损失归一化思路，需结合 EEG 编码器和偏好标签定义改造。低信噪比、跨被试或通道差异可能使距离主要反映噪声，而非任务难度。小规模检验可固定编码器、配对数据及被试划分，仅比较 BT loss 与 NormBT，并按表征距离分组检查排序误差和梯度幅度。相关 EEG 工作尚未检索确认。