EagleDepth:基于像素扩散解码器的高效细粒度深度估计
EagleDepth: Efficient Fine-Grained Depth Estimation via Pixel Diffusion Decoder
基于摘要分析。EagleDepth 针对高分辨率单目深度估计中几何细节受潜在空间建模与 VAE 重建影响、潜在编码解码开销较大的问题,将潜在扩散的几何先验与像素空间深度生成结合,直接在目标分辨率输出深度图。 核心机制是保留具有深度感知能力的潜在表示作为条件引导,而不再通过原始 VAE 解码器重建最终深度。训练分两阶段:先使用成对 RGB–depth 监督微调预训练潜在扩散模型,再将预训练像素扩散解码器 PiD 适配为基于所学特征预测深度。像素组件训练从 1024 分辨率开始,随后覆盖最高至 4K 的多种分辨率;摘要未明确 1024 对应的具体图像尺寸。推理时,潜在分支处理缩小后的低分辨率 RGB 图像,像素分支生成目标分辨率深度,使潜在骨干无需在输出分辨率运行。 作者报告,在五个常用深度估计数据集及高分辨率 Synth4K 上达到最先进的深度估计性能,并具有更快推理速度及更好的细结构、物体边界保留能力。摘要未给出其余数据集名称、具体指标、数值、基线、数据划分、推理硬件或计时口径,因此这些结论尚不能独立核对;实验协议、消融及统计信息尚未验证。复现还需确认预训练模型版本、条件特征接口、损失、扩散采样设置与多分辨率训练安排。 平台推测(待验证):其可迁移的机制是将低分辨率先验提取与高分辨率输出解耦,但原方法依赖成对 RGB–depth 监督及图像扩散预训练,不能直接视为 EEG/BCI 方法。若用于 EEG 重建或去噪,需改造为时间与通道结构适配的条件表示和解码器;低信噪比、跨被试及通道布局变化、小数据训练可能使输出细节偏离真实信号。一个可检验的小实验是在固定 EEG 划分与配对监督下,对比低分辨率条件引导的直接解码和潜在重建路径,同时核对信号保真度与推理耗时。相关 EEG 工作尚未检索确认。
值得核对其以低分辨率潜在几何特征引导高分辨率像素扩散、绕过原始 VAE 解码器的设计,是否能在统一评估协议下兼顾细节保留与推理效率。
来源:arXiv · 多模态与生成机制 · arxiv.org