GuidanceNFT：基于 NFT 的引导扩散模型奖励微调

基于摘要分析。本文研究扩散模型的奖励微调与提示词对齐之间的冲突，提出 GuidanceNFT：针对引导后输出分布估计匹配的参考速度，并修正 NFT 目标中的两个回归项，使奖励优化适配引导采样。 原方法 DiffusionNFT（NFT）面向任务特定奖励进行微调，但奖励提升并不保证完整遵循提示词。classifier-free guidance（CFG）可增强提示词对齐，而 NFT 原本采用不含 CFG 的形式；对微调后的速度场直接施加 CFG，可能降低已优化的奖励。作者进一步指出，直接使用标准 NFT 优化引导样本，也可能导致奖励退化或训练崩溃。 作者将该问题归因于 NFT 损失所用参考速度与引导样本分布的 score 不匹配，从而使改进方向产生偏差。GuidanceNFT 在引导样本上通过在线 flow matching 估计匹配的参考速度，并据此修正两个回归项。作者称，在参考速度精确的条件下，修正目标可恢复 NFT 预期的更新；这一理想条件下的性质应与实际学习到的近似修正效果区分。 作者报告，在 SD3.5-M 上，针对 GenEval、文字渲染及多奖励目标，GuidanceNFT 的优化奖励高于使用及不使用 CFG 的 NFT，并在域外评估指标下呈现更好的整体提示词对齐。对于具有内置引导的 Model Guidance 和 ELF，作者报告了 ImageNet 生成改善、OpenWebText 上更好的困惑度—熵权衡，以及 GSM8K 上更高的 Accuracy。摘要未提供具体分数、数据划分、计算预算或统计信息，实验协议、消融及统计信息尚未验证。 本文主要对象是生成模型的引导与奖励优化，并非 EEG 解码或 BCI；现有材料不足以建立具体的 BCI 迁移路径，不据此推断神经信号任务收益。