超越 Bradley-Terry 模型：用于语言模型对齐的通用偏好模型

基于摘要分析。本文研究语言模型对齐中的人类偏好建模，针对 Bradley-Terry（BT）奖励模型难以表达非传递偏好的问题，提出将回答映射到潜在空间的 preference embedding，并据此构建 General Preference embedding Model（GPM）。同时提出基于偏好分数的 General Preference Optimization（GPO），将基于奖励的 RLHF 推广到更一般的偏好建模框架。 核心机制是以回答的潜在空间表示捕捉复杂偏好关系，而非仅依靠单一标量奖励排序。循环偏好是其关键研究对象：例如偏好关系可以形成闭环，无法由固定标量排序完整表达。作者称该方法具有线性查询复杂度，但摘要未说明查询对象、复杂度所对应的变量及成立条件；嵌入结构、偏好评分函数、训练损失和 GPO 的优化细节尚未验证。 作者报告，GPM 在 RewardBench 上持续优于 BT 奖励模型，并能有效建模循环偏好；在该循环偏好评估中，作者称 BT 奖励模型的表现相当于随机猜测。作者还报告，使用 GPO 与通用偏好模型进行语言模型后训练后，在 AlpacaEval2.0 等下游评估中相较 BT 模型有所提升。摘要未给出具体分数、训练数据、模型规模、划分方式及对照配置，实验协议、消融及统计信息尚未验证。摘要提供了代码地址，但代码内容与复现条件尚未核验。 研究主要面向语言模型的人类偏好对齐，并非 EEG 解码或 BCI 方法。现有材料未提供其与神经信号任务的具体机制对应关系，因此不据此推断 BCI 有效性；相关 EEG 工作尚未检索确认。