利用层次化视觉先验重构 DiT 以实现极端图像压缩

基于摘要分析。本文研究极端图像压缩中，如何将预训练扩散模型的生成先验转化为直接解码压缩表示的能力。作者提出 PrismCodec，将预训练 Diffusion Transformer（DiT）改造为以码流为依据的单步生成解码器，目标是摆脱随机、多步生成过程，实现由接收表示确定性重建图像。 核心机制是让同一解码潜变量承担两种互补作用：投影后的 codec state 定义生成起始状态，从该潜变量提取的层次化视觉先验提供语义与结构引导。适配分三阶段进行：先从以 codec state 为中心的带噪邻域学习压缩表示条件下的 transport，再将其蒸馏为单步映射，最后在端到端优化中将源端扰动退火至零。作者称最终解码无需额外条件比特；先验的具体构造、损失形式及各阶段训练配置尚未验证。 作者报告，在 Kodak、CLIC 和 DIV2K 上，相较 StableCodec，PrismCodec 在以 LPIPS 为感知指标的率–感知评估中取得 70–75% 的 BD-rate 降低，在以 DISTS 为指标的评估中取得 75–81% 的 BD-rate 降低。这些数值属于相应感知指标下的码率比较，不能解释为像素重建误差或所有质量指标的同等改善。具体码率区间、数据划分、基线配置、消融及统计信息尚未验证。摘要称代码将在论文被接收后发布，不表示当前已接收或代码已公开。 平台推测（待验证）：可关注其“压缩状态初始化＋同源先验引导＋单步蒸馏”机制是否能用于神经信号压缩，但原研究依赖图像潜表示和视觉生成先验，不能直接认定适用于 EEG。若迁移，需改造信号表示与先验，并检验低信噪比、跨被试和通道变化下生成重建是否扭曲任务相关信息。一个可证伪的小实验是在固定 EEG 数据划分与码率下，对比该适配机制和直接解码基线，同时检查波形失真及下游任务表现，而非仅评价感知相似度。已有 EEG 相关工作尚未检索确认。