扩散模型的泛化源于平衡的表征空间

基于摘要分析。本文研究扩散模型在训练目标上过拟合时，如何从生成新样本转向记忆训练数据，并以表征学习视角解释二者的差异。核心贡献是借助两层 ReLU 去噪自编码器（DAE）建立理论分析，再将表征结构用于记忆检测与无需训练的生成编辑。 作者报告，在所分析的两层 ReLU DAE 中，记忆对应于编码与解码权重存储原始训练数据，并产生局部化、尖峰状的表征；泛化则对应于模型捕获局部数据统计，形成平衡的表征。摘要未给出“平衡”的数学定义、证明假设或适用数据分布，因此这些结论不能直接推广为所有扩散模型的普遍定律。 作者报告，在真实场景的无条件与 text-to-image 扩散模型中观察到了相同的表征结构，并据此提出基于表征的记忆检测方法，以及通过 representation steering 实现精确控制的免训练编辑技术。具体模型、数据集、检测指标、编辑质量、对照基线和计算成本未在摘要中列出；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若该表征诊断依赖的局部数据统计与内部激活结构在 EEG 生成模型中仍成立，可将其作为检查训练片段记忆的候选工具，而非已证实的 BCI 方法。可复用的是表征诊断思路；需要改造的是 EEG 时序、通道结构及相似性度量。低信噪比、小样本和被试特异模式可能使局部尖峰反映真实生理差异，而非记忆。一个可检验的小实验是在固定被试划分与模型条件下比较不同训练阶段的表征诊断量、生成片段与训练片段的相似性及留出数据表现，检验诊断量是否只是识别被试差异。已有 EEG 相关工作尚未检索确认。