arXiv · 多模态与生成机制· Iljung Kim; Kangwoo Park; Yung-Kyun Noh; Daniel D. Lee·· 1 天前精选AI 评分77
通过热力学奇异性检测扩散模型中的记忆化
Detection of Memorization in Diffusion Models Through Thermodynamic Singularity
AI 导读
基于摘要分析。本文研究扩散模型如何区分真正的分布学习与对训练样本的记忆化,贡献是对记忆化逆向过程给出解析刻画,并提出检测相关热力学奇异性的判据。 其核心区分在于:恰当的分布学习应逆转定义在底层概率密度上的扩散过程;记忆化则表现为逆向过程学习了从单个训练样本出发的扩散。论文据此尝试从逆向过程的性质识别记忆化,而非仅依据生成样本的表面相似性。摘要未给出热力学奇异性的数学定义、判据形式、所需观测量及估计方法,具体实现条件尚未验证。 作者报告,该判据在一系列旨在促进或抑制记忆化的神经网络模型上,能够可靠地区分恰当学习与记忆化。摘要未提供具体模型、数据集、训练规模、检测指标或对照结果,实验协议、消融及统计信息尚未验证,因此目前不能判断其跨模型适用范围、检测成本或阈值稳定性。 本文的主要研究对象是通用扩散模型的记忆化检测,材料未提供 EEG 或 BCI 验证。其是否适用于神经信号生成模型,以及低信噪比、小样本条件下的判据估计是否稳定,尚不能由该摘要确认;已有 EEG 相关工作尚未检索确认。
阅读价值
值得关注其将扩散模型记忆化与逆向过程的热力学奇异性联系起来的解析判据,但判据的计算条件及检测可靠性仍需结合全文核验。
来源:arXiv · 多模态与生成机制 · arxiv.org