理解并缓解流模型奖励对齐中的状态暴露失配

基于摘要分析。本文研究预训练流模型通过强化学习（RL）进行奖励对齐时的状态暴露失配：基于终点的 RL 方法从获得奖励的终点重建训练状态，以提高效率，但这些状态可能不同于当前策略实际 rollout 所经历的状态。作者提出 Drift-Aligned Exposure Correction（DAEC），在保留原有回归目标与参考锚定的条件下，对训练模型的输入进行定向扰动，以缓解这一差异。 核心机制：作者报告，状态差异随时间步变化，对不同去噪阶段的奖励影响不同，且沿各条轨迹实施校正有益。DAEC 利用可直接获取的 bridge residual 识别与 rollout 相关的方向，在解析重建状态附近仅扰动可训练模型的输入，并按时间步和样本自适应调整扰动幅度。摘要未提供 bridge residual、扰动尺度及参考锚定的数学定义，不能据此确定具体损失形式。 结果与复现边界：作者报告，在多种奖励目标下，DAEC 提升了 RL 训练效率与生成质量；其新增计算仅涉及轻量张量操作，每次训练更新无需额外模型评估。摘要未列出具体任务、数据集、基线、指标或改善幅度，因此这些结论的适用范围仍需正文核对，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该机制仅在 EEG 生成或重建系统使用预训练流模型、终点奖励及状态重建式 RL 时具有直接对应路径，不能视为一般 EEG 解码方法。可复用的是基于轨迹残差的输入校正思路；需重新评估 EEG 的通道结构、幅值尺度及奖励定义。低信噪比、跨被试差异和小数据条件可能使扰动方向不稳定，或令奖励优化偏离神经信号保真性。一个可检验的小实验是，在固定 EEG 数据划分、奖励和模型评估预算下，对比原始终点式 RL 与加入 DAEC 的版本，同时检查奖励、信号保真性及下游任务表现。已有 EEG 相关工作尚未检索确认。