预训练扩散模型 h-space 中可解释方向的无监督发现
Unsupervised Discovery of Interpretable Directions in h-space of Pre-trained Diffusion Models
基于摘要分析。该研究面向预训练扩散模型的生成结果操控,提出一种无监督、基于学习的方法,在 h-space 中发现可解释且解耦的变化方向;同时针对贯穿扩散生成过程反向传播的显存开销,提出基于梯度检查点的训练算法。原论文主要研究对象是扩散生成模型,并非 EEG 或 BCI。 方法借鉴已有 GAN 潜在空间方向发现技术:移位控制模块在 h-space 中施加变化,生成原样本的移位版本;重建器预测操控的类型与强度,两者联合优化以发现可区分的操控方向。研究还引入判别器维持移位样本的保真度,抑制无意义或破坏性变化。摘要未明确 h-space 的具体定义、操控注入位置、损失形式及预训练模型配置,相关实现尚未验证。 针对扩散模型迭代生成时需保存大量中间张量的问题,作者提出基于梯度检查点的显存节约方案,使梯度能够通过完整生成过程传播,以训练效率损失换取较低显存占用。作者报告,该方法能够识别全局且可缩放的方向,无需额外复杂程序,并在多个数据集上验证了有效性;但摘要未提供数据集名称、评估指标、具体对照或数值,因此尚不能量化其相对收益。实验协议、消融及统计信息尚未验证,复现还需核对方向发现的稳定性、保真度评价,以及显存与训练耗时的权衡。 材料未提供这些生成方向与 EEG 生理因素或 BCI 任务之间的具体对应关系,不能据此推断其具有 BCI 有效性;已有 EEG 相关工作尚未检索确认。
值得关注其以操控重建约束发现扩散模型可解释方向的机制,以及贯穿迭代生成过程的显存节约训练方案,但方向的解耦性、保真度与计算代价仍需结合全文实验核对。
来源:OpenReview · State space models · openreview.net