基于稀疏观测的大型深度补全模型
Large Depth Completion Model from Sparse Observations
基于摘要分析。本文研究稀疏观测条件下的单视图度量深度估计,提出 Large Depth Completion Model(LDCM),通过单目基础模型辅助的深度初始化与三维坐标预测,将稀疏深度补全为具有度量尺度的稠密深度及三维点图。其主要研究对象是计算机视觉中的场景几何恢复,而非 EEG 或 BCI。 机制上,LDCM 使用 transformer,并从输入构造与预测目标两个方面改进深度补全。首先,利用已有单目基础模型改善稀疏深度输入,并通过 Poisson-based depth initialization 将不同形式的稀疏观测转化为统一的粗略稠密深度图,为网络提供结构先验。其次,以 point map head 替代常规深度预测头,直接回归相机坐标系下每个像素的三维坐标,使学习目标从逐像素深度恢复转向三维场景结构建模。作者称该设计无需相机内参即可输出具有度量尺度的三维点图;这一能力的适用条件及其与初始化的关系需由正文核对。 作者报告,LDCM 在多个基准、不同稀疏程度下的深度补全与点图估计任务中优于现有方法,并可泛化到未见数据分布。但摘要未提供数据集名称、划分方式、稀疏观测生成协议、指标、对照方法及具体数值,因此尚不能判断优势幅度或跨设置的可比性。训练目标的具体形式、基础模型使用方式、消融及统计信息尚未验证。摘要称代码与模型已公开,实际可复现条件仍需核对。 该方法依赖图像空间、场景几何和相机坐标系下的三维监督;现有材料未建立这些机制与 EEG 瓶颈之间的具体对应关系,不能据此推断 BCI 有效性。相关 EEG 工作尚未检索确认。
值得核对的是以 Poisson-based 初始化和相机空间 point map 回归结合稀疏观测、几何结构与度量尺度的设计;摘要中的泛化及性能优势仍需结合完整实验协议验证。
来源:OpenReview · State space models · openreview.net