将扩散模型用作噪声感知潜空间奖励模型的逐步偏好优化

基于摘要分析。本文研究图像扩散模型如何通过偏好优化更好地对齐人类偏好，核心贡献是利用预训练扩散模型的组件构建 Latent Reward Model（LRM），并提出直接在带噪潜空间进行逐步偏好优化的 Latent Preference Optimization（LPO）。 机制上，既有方法通常以 Vision-Language Models（VLMs）作为像素空间奖励模型；作者指出，将其用于扩散过程的逐步偏好优化时，需要处理不同时间步的带噪图像，并进行复杂的像素空间转换。LRM 则利用扩散模型本身能够处理不同噪声水平潜变量的特性，预测任意时间步潜在图像的偏好。LPO 在此基础上直接优化带噪潜变量，减少对像素空间奖励评估路径的依赖。具体复用组件、奖励训练监督、损失形式与时间步采样策略尚未验证。 作者报告，在图像生成偏好对齐实验中，LPO 改善了一般偏好、审美偏好和文本—图像对齐偏好，并相较既有偏好优化方法获得 2.5–28 倍训练加速。摘要未提供各项指标、数据集、具体基线、硬件及计时范围，因此该加速区间不能脱离对应实验条件解释，效果幅度及统计可靠性也尚待全文核对。实验协议、消融及统计信息尚未验证。作者提供了代码与模型链接，但材料不足以确认完整复现条件。 本文主要研究对象是图像生成偏好对齐，而非 EEG/BCI。其方法依赖预训练扩散模型的带噪潜表示与偏好监督；材料未建立这些条件与 EEG 任务之间的具体对应关系，因此不据此推断 BCI 收益。已有 EEG 相关工作尚未检索确认。