通过表征工程使大语言模型与人类偏好对齐

该研究针对大语言模型（LLMs）的人类偏好对齐问题，提出 Representation Alignment from Human Feedback（RAHF），尝试识别模型内部与高层次人类偏好相关的表征，并通过变换这些表征控制模型行为。基于摘要分析，未取得论文全文。 原论文的主要研究对象是 LLM 的有用性、真实性、安全性、无害性和趣味性等偏好对齐，而非 EEG 解码或 BCI。作者以基于人类反馈的强化学习（RLHF）作为方法背景，指出其微调过程可能不稳定、实现存在挑战；RAHF 则借鉴表征工程（RepE），将对齐的干预对象转向模型内部活动中的偏好表征。摘要未说明偏好表征的提取算法、反馈标注形式、变换方式、干预位置，以及是否需要额外训练。 作者报告，实验显示 RAHF 能够捕捉并操控涉及多种人类偏好或价值的表征，而不限于诚实或偏见等单一概念，并称该方法有效、计算高效且易于实现。但摘要未提供模型、数据集、评估指标、对照设置或具体数值，因而尚不能量化其相对 RLHF 的收益，也不能判断多种偏好间的冲突及控制的泛化能力；实验协议、消融及统计信息尚未验证。 现有材料未建立人类偏好表征操控与 EEG/BCI 瓶颈之间的具体机制对应，不能据此推断神经信号解码收益。已有 EEG 相关工作尚未检索确认。