将扩散模型用作逐步偏好优化的噪声感知潜空间奖励模型

基于摘要分析。本文研究图像生成扩散模型的人类偏好对齐，提出 Latent Reward Model（LRM），复用预训练扩散模型的组件来预测不同时间步潜空间图像的偏好，并在此基础上提出 Latent Preference Optimization（LPO），直接在含噪潜空间执行逐步偏好优化。 核心机制是利用扩散模型原本处理不同噪声水平潜空间图像的能力进行奖励建模。作者指出，既有方法通常使用 Vision-Language Models（VLMs）在像素空间近似人类偏好，但在逐步优化时，处理不同时间步的含噪图像存在困难，并需要复杂的像素空间转换。LRM 与 LPO 的区别在于将奖励预测和逐步优化置于含噪潜空间，而非依赖像素空间奖励评估。具体复用哪些组件、如何提供偏好监督、奖励损失与优化目标的形式尚未验证。 作者报告，LPO 改善了通用偏好、美学偏好及文本—图像对齐偏好，并相对现有偏好优化方法获得 2.5–28 倍训练加速。摘要未提供具体基线、数据集、评价指标、硬件条件或各加速倍数对应的训练设置，因此不能判断收益来自哪些计算环节，也不能将这一范围视为所有配置下的固定效果。实验协议、消融及统计信息尚未验证。 本文的主要研究对象是图像生成偏好对齐，不是 EEG 解码或 BCI。其奖励监督依赖图像偏好，潜空间表示依赖预训练图像扩散模型；摘要未提供这些机制与神经信号任务的具体对应关系，因此不据此推断 EEG/BCI 有效性或提出迁移实验。已有 EEG 相关工作尚未检索确认。复现前需取得全文，核对预训练模型、偏好数据、时间步采样、奖励训练与优化配置，以及加速测量口径；代码和权重的可用性尚未验证。