跳到正文
arXiv · 多模态与生成机制· Hirohane Takagi; Masashi Sugiyama·· 1 天前精选AI 评分79

通过 Positive-Unlabeled learning 实现扩散模型的渐近精确负向引导

Asymptotically Exact Negative Guidance of Diffusion Models via Positive-Unlabeled Learning

AI 导读

基于摘要分析。本文研究扩散模型如何生成避开不期望条件的样本,提出以显式目标密度定义负向引导,并结合 Positive-Unlabeled learning(正例—未标记学习)与 Sequential Monte Carlo(序贯蒙特卡洛)实现采样。研究对象是通用生成采样及图像生成,而非 EEG 或 BCI。 作者指出,现有方法依赖样本局部信息构造排斥项,所得采样过程不对应显式目标密度,因而难以通过增加计算系统性降低偏差。新方法将回避强度直接纳入目标密度,同时支持以参考样本或条件得分指定不期望条件。其关键是估计各扩散时间步中样本属于不期望条件的概率:以条件样本为正例、扩散粒子为未标记数据,沿扩散轨迹进行轻量在线训练。由于引导后的粒子会偏离无条件边缘分布,方法进一步使用 Sequential Monte Carlo 校正残余失配,并可将已有负向引导方法作为提议核。作者声称该采样器在粒子数趋于无穷的极限下渐近精确,这不等于有限粒子时无偏。 作者报告,在高斯混合实验中,方法能够逼近真实目标分布;在包含预训练得分网络的图像生成设置中,围绕回避程度、生成质量、分布偏差与多样性的权衡,相较现有方法取得 Pareto 优势。摘要未提供具体数据集、指标数值、粒子预算或计算开销,目标密度形式、理论成立条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若用于 EEG 生成中的伪迹或不期望状态回避,可考虑复用显式目标密度与粒子校正机制,但需具备可用的 EEG 扩散模型及相应条件样本,并改造条件概率估计器。低信噪比、跨被试差异和小样本可能使该估计失准,回避过程也可能误删有效神经活动。可在固定被试与数据划分下,以带已知人工伪迹的 EEG 片段进行小规模实验,比较相同计算预算下的伪迹回避程度与有效信号保真度;这仅是迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将扩散模型负向引导表述为显式目标密度采样,并以 Positive-Unlabeled learning 与 Sequential Monte Carlo 校正采样偏差的机制;渐近精确性在有限粒子预算下的实际收益尚需全文核对。

来源:arXiv · 多模态与生成机制 · arxiv.org