面向 RLHF 稳健奖励建模的因子化因果表征学习

基于摘要分析。本文研究 LLM 在 RLHF 中的奖励模型如何受伪相关特征影响，并提出因子化表征学习框架，旨在缓解预测奖励升高却未带来行为改善的 reward hacking。原论文主要研究对象是数学与对话任务中的奖励建模，而非 EEG 或 BCI。 核心机制是将模型的上下文嵌入分解为两部分：用于奖励预测的充分因果因素，以及承载奖励无关属性的非因果因素，例如长度或迎合偏差。奖励头被约束为仅依赖因果部分；另设对抗头从非因果部分预测奖励，并通过梯度反转抑制该部分编码奖励相关信息。摘要未说明因果因素的识别假设、分解约束、具体损失形式及各训练目标的权重，因此不能仅凭这种结构确认已识别出真实因果因素。 作者报告，在数学与对话任务的实验中，该方法获得了更稳健的奖励模型，并相对其所称的先进基线持续改善下游 RLHF 表现；作者还报告，针对长度与迎合偏差的分析支持其缓解 reward hacking 的效果。摘要未提供数据集、模型规模、数据划分、具体基线、指标或改进数值，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可供 EEG 研究参考的机制，是将任务相关表征与干扰表征分离，再限制预测头使用前者；但原方法依赖人类偏好监督，迁移到 EEG 时需重新定义监督目标、干扰属性与分解约束。低信噪比、小数据以及被试、通道差异可能使对抗约束误删任务信息，尤其当被试身份与标签分布相关时。一个可检验的假设是：在固定 Cross-subject 划分、骨干模型和训练预算下，加入该分解机制能否改善任务预测，同时降低干扰属性的可预测性；可与不分解及去除梯度反转的版本比较。上述迁移尚无本文证据支持，已有 EEG 相关工作尚未检索确认。