跳到正文
arXiv · 多模态与生成机制· Yuchen Liang; Xian Yu·· 1 天前精选AI 评分79

具有有限样本保证的风险厌恶扩散模型推理时对齐

Risk-Averse Inference-Time Diffusion Model Alignment with Finite-Sample Guarantees

AI 导读

基于摘要分析。本文研究扩散模型的推理时对齐:在不进行高成本微调的情况下,如何兼顾下游任务的平均代价与尾部风险。作者提出以轨迹级 Kullback-Leibler(KL)正则化约束生成路径分布,同时平衡期望代价与条件风险价值(CVaR)的风险厌恶框架。 机制上,作者将最优路径分布及反向转移表示为 CVaR 阈值的函数,从而把对齐问题化为针对该阈值的一维优化。作者指出该问题一般可能非凸,给出凸性的充分条件,并引入二次正则化以支持无导数三分搜索;摘要尚不足以核对正则化如何改变优化目标,以及搜索所需条件。 理论上,作者在适当假设下给出阈值优化与价值估计的有限样本保证,并在精确重采样条件下,将这些保证组合为终端分布相对于正则化目标分布的总变差界。该保证不能直接扩展为任意近似采样实现的保证,具体假设、样本复杂度及误差项尚未验证。 实验覆盖合成数据与使用 Stable Diffusion 的图像生成。作者报告,相对于风险中性基线,该方法改善尾部表现,同时保持有竞争力的平均代价。摘要未提供具体代价定义、CVaR 水平、基线名称、样本规模或数值结果;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 条件生成或数据增强任务能够定义可靠的逐样本代价,该机制可能用于控制少数高代价生成样本,而非仅优化平均质量。可复用部分是期望代价与 CVaR 的联合优化及阈值搜索,需改造部分是 EEG 条件生成过程与代价评估器。低信噪比、跨被试与通道差异、小样本尾部估计不稳定,以及代价与真实下游性能不一致,都可能使其失效。可检验的小实验是在固定被试划分、生成预算和代价定义下,对比风险中性与风险厌恶对齐的平均代价和 CVaR,并单独检查下游解码表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其将 CVaR 尾部风险控制与轨迹级 KL 正则化结合的推理时对齐机制,并核对有限样本保证对假设及精确重采样的依赖;其 EEG/BCI 适用性尚未验证。

来源:arXiv · 多模态与生成机制 · arxiv.org