奖励学习中表示能力与偏好可理性化之间的权衡

基于摘要分析。本文研究 RLHF 中如何将异质标注者对候选回答的成对偏好转化为单一标量奖励，并将学习到的表示 φ(x,y) 纳入社会选择理论分析。核心贡献是把偏好无法由标量排序一致解释的问题，刻画为表示能力与偏好聚合冲突之间的权衡。 每个训练样本包含提示 x 和两个候选回答 y、y′。异质标注者的偏好汇总后可能形成 Condorcet cycles，即循环偏好，因此标量奖励无法同时满足全部比较。不同于将每个提示下的候选回答视为固定有限集合的分析，本文关注表示 φ 如何决定哪些回答可以被区分，以及哪些比较会暴露给奖励模型。 作者报告，基于 φ 构建的奖励模型，其超额交叉熵损失可精确分解为表示项与聚合项：更丰富的表示会缩小前者，却因暴露更多无法由标量一致排序的比较而增大后者。作者进一步报告，相关结论可扩展至 DPO，且联合训练表示与奖励并不能保证找到这一权衡的最佳点。这不等于联合训练必然失败，而是其最优折中缺乏一般性保证。 作者报告，合成数据与真实偏好数据集上的实验支持理论结果；摘要未提供具体数据集、划分、基线或量化结果，理论假设、实验协议、消融及统计信息尚未验证。本文主要研究对象是语言模型的偏好与奖励学习，材料未建立其与 EEG 或 BCI 的具体机制对应关系，不能据此推断相关效果。