解读个性化扩散模型的权重空间
Interpreting the Weight Space of Customized Diffusion Models
基于摘要分析。该研究考察个性化扩散模型的权重空间能否具有可解释的结构,并用于生成新的模型。作者通过针对不同人物视觉身份微调同一个基础模型,构建了超过 60,000 个模型的数据集,将这些权重的底层流形建模为名为 weights2weights 的子空间。 核心贡献是在模型权重空间而非单个模型的图像潜在空间中进行操作。作者报告了三类应用:从该空间采样权重,得到编码新身份的扩散模型;寻找对应身份语义编辑的线性方向,例如添加胡须,在保留原身份的基础上生成编辑后的模型;将单张图像反演到该空间,使模型编码逼真的身份,包括以绘画等分布外图像作为输入。作者还报告,这些权重空间的线性性质可扩展到其他视觉概念,但摘要未说明具体概念和评估协议。 这些结果支持作者提出的解释:微调扩散模型的权重空间可作为生成新模型的可解释元潜在空间。子空间的具体构造、权重表示、优化目标、训练与评估划分、对照基线、定量指标、消融及统计信息尚未验证;基础模型、微调范围和复现资源也不能由摘要确定。 平台推测(待验证):若共享基础模型、采用一致微调方式的 EEG 模型,其参数变化也具有稳定的低维结构,则类似权重子空间可能用于研究跨被试适配的参数差异。这一假设依赖足量且可对齐的个体模型,不能将视觉身份的线性可编辑性直接等同于 EEG 个体差异。可复用的是权重集合建模思路;需要改造个体模型构建方式、任务目标与评估协议。EEG 的低信噪比、通道差异、跨会话漂移及小样本可能使权重方向反映噪声或采集条件,而非稳定的个体特征。一个可证伪的小实验是在固定通道与任务协议下,对共享初始化的被试微调模型建立权重子空间,用留出被试比较子空间约束适配与常规微调;若未改善任务表现或稳定性,则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。
值得阅读其将大量个性化扩散模型的权重建模为可采样、编辑和反演的元潜在空间这一机制,但其对 EEG 个体差异建模的适用性尚未验证。
来源:OpenReview · State space models · openreview.net