跳到正文
OpenReview · Representation learning· Jaime Spencer; Richard Bowden; Simon Hadfield·· 2020-01-01精选AI 评分75

DeFeat-Net:通过同步无监督表征学习实现通用单目深度估计

DeFeat-Net: General Monocular Depth via Simultaneous Unsupervised Representation Learning

AI 导读

基于摘要分析。DeFeat-Net 针对单目深度估计中光度一致性在夜间或恶劣天气下失效的问题,同时无监督学习跨域稠密特征表征、深度与运动,以变换后的特征一致性构建更稳健的深度估计框架。 核心机制是将依赖像素外观的 warped photometric consistency 转向 learned feature 空间中的 warped feature consistency;特征学习不需要显式的真实对应关系。该方法依赖图像间可用于几何变换与一致性约束的结构,并非一般意义上可直接用于任意信号的无监督表征方法。具体损失、运动建模方式、训练数据规模及各模块的优化关系尚未验证。 作者报告,在单一域内,该方法的单目深度估计表现可与当时的领先方法相比,特征表征表现可与有监督特征学习相比;在夜间驾驶等更具挑战性的序列上,相对当时的领先方法,所有误差度量约降低 10%。摘要未给出数据集名称、具体误差指标、划分及基线配置,因此该数字只能限定于作者所述评估情境,不能外推为普遍的跨域收益。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可借鉴的机制是假设在学习到的表征空间施加一致性,比在原始 EEG 波形上施加一致性更能容忍部分观测变化。但 EEG 缺少图像深度与相机运动对应的几何变换结构,深度和运动模块不能直接迁移;需要重新定义保留任务信息的信号变换与一致性约束。低信噪比、跨被试差异、通道变化及小数据可能使表征忽略有效神经活动或产生退化解。一个可证伪的小实验是在固定跨会话划分与相同编码器下,对比原始信号一致性和表征一致性,并核对下游任务表现及表征是否退化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是联合学习特征、深度与运动能否缓解光度一致性失效时的泛化问题;作者报告了夜间驾驶序列上的误差改善,但其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net