你的离散图扩散模型正在隐性记忆训练数据
Your Discrete Graph Diffusion Model is Secretly Memorizing
基于摘要分析。本文研究离散图扩散模型(GDMs)是否会记忆训练图,核心贡献是提出“条件性记忆”:从受损训练图启动逆扩散时,模型表现出明显的训练数据偏向,而这种现象在常规无条件生成及样本级指标中可能不显现。 研究背景是无节点特征的无条件图生成:GDMs 在马尔可夫噪声模型下,独立地向节点和边添加噪声,再通过等变去噪器恢复图结构。摘要指出,即使只用单张图训练,模型仍可生成新图,边重叠率和 WL kernel similarity 等指标也可能未显示记忆证据。本文转而分析在双块随机块模型(SBMs)上训练的 GDMs 的逆扩散轨迹,以受损训练图与受损留出测试图的恢复表现进行对照。 作者报告,模型能够近乎完美地恢复受损训练图,相比留出测试图存在明显优势;这一条件性记忆伴随训练损失改善、留出图损失恶化的泛化差距扩大。作者还报告,在所测试的所有节点规模下,记忆的出现均早于生成图中社区结构的形成,因此更早的检查点只生成无结构图,早停未能消除该问题。上述结论限于摘要所述模型与实验范围,不能据此认定所有 GDMs 都有相同行为。 评估上的关键区别是:无条件生成样本看起来新颖,不等于模型对训练数据不存在条件性偏向。具体模型实现、节点规模、噪声强度、训练与测试图的构造方式、重复实验及统计信息尚未验证。本文的主要研究对象是合成图生成,并非 EEG 或 BCI;材料未提供足以建立具体神经信号迁移路径的证据。
值得阅读之处在于作者用受损训练图与留出测试图的逆扩散恢复差异揭示常规生成样本指标可能漏检的条件性记忆,为图生成模型的泛化评估提供了具体核查路径。
来源:arXiv · 多模态与生成机制 · arxiv.org