跳到正文
OpenReview · State space models·· 2026-08-23精选AI 评分78

Persistence Forcing:利用像素空间扩散中的特征专门化

Persistence Forcing: Exploiting Feature Specialization in Pixel-Space Diffusion

AI 导读

基于摘要分析。该研究针对像素空间 diffusion Transformers(DiTs)各层隐藏表示通常接受统一细化的问题,提出异质细化策略,使不同特征组获得不同的跨层细化预算,并据此构建 Persistence Forcing(PerF)用于图像生成。主要研究对象是自然图像,而非 EEG 或 BCI。 核心机制是让部分特征较少更新、另一些特征更频繁更新。作者报告,这种安排产生了有序的特征专门化:较少细化的 persistent features 主要编码全局视觉结构,频繁细化的 active features 则更偏向局部高频细节。PerF 利用前者持续条件化后者,使相对稳定的全局信息指导细节生成;作者还指出,这种交互在采样时产生促进全局结构一致性的引导方向,可与 classifier-free guidance 互补。具体特征分组方式、更新调度、条件化算子及引导公式尚未验证。 在 ImageNet 图像生成评估中,作者报告 PerF-L 在 256×256 分辨率下取得 FID 1.91,接近 JiT-H 的 1.86,且参数量仅为其一半;PerF-H 在 256×256 与 512×512 分辨率下分别取得 FID 1.63 和 1.76。摘要未提供完整采样配置、训练预算及 FID 计算协议,不能据此确认不同模型比较时的全部条件是否一致;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,EEG 生成或重建模型也可能受益于将缓慢变化的背景结构与局部瞬态信息分配给不同更新预算。可复用的是分组细化与持续条件化思路,需改造的是时序或时空输入表示,以及特征分组对应的信号尺度;自然图像的空间层级结构不等同于 EEG 的时间、频率和通道结构。低信噪比可能使持久特征保留伪迹,跨被试或通道变化可能破坏分组语义,小数据也可能不足以形成稳定的专门化。一个小规模实验可在固定 EEG 重建任务和被试划分下,对比计算预算匹配的均匀更新与异质更新,并检验重建误差及 ERP 波形保真度,而非仅观察视觉效果。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是按深度分配不同特征更新预算后形成的全局—局部功能分化,以及利用该分化进行条件化与采样引导的收益;摘要报告了 ImageNet 生成结果,但其对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net