跳到正文
OpenReview · Representation learning· Shenglun Chen; Hong Zhang; Xinzhu Ma; Zhihui Wang; Haojie Li·· 2024-07-01精选AI 评分76

通过聚类学习用于深度补全的逐像素连续深度表示

Learning Pixel-Wise Continuous Depth Representation via Clustering for Depth Completion

AI 导读

基于摘要分析。本文研究计算机视觉中的深度补全问题,针对分类式方法采用预定义、像素共享的离散深度类别,难以贴合真实连续深度分布并可能造成物体边界深度模糊的问题,提出聚类框架 CluDe,学习逐像素连续深度表示。 核心机制是先通过深度值聚类学习一组深度中心,使初始表示相较预定义类别更贴近真实深度分布;这些中心仍是像素共享且离散的。随后,CluDe 为深度中心估计偏移,使其沿深度轴动态调整,从而形成逐像素连续表示。其方法重点是将共享离散表示转化为位置相关的连续表示,而非仅替换预定义类别。具体聚类算法、偏移参数化、损失函数及迭代训练流程尚未验证。 作者报告,CluDe 可减轻物体边界附近的深度模糊,在 VOID datasets 上取得其所称的最先进性能,并在 KITTI dataset 上优于分类式方法。摘要未提供具体指标、数值、数据划分或对照配置,因此不能量化提升幅度,也不能据此推断其优于 KITTI 上所有类型的方法。实验协议、消融及统计信息尚未验证。 平台推测(待验证):“共享离散中心加位置相关连续偏移”的机制,可作为 EEG 连续量重建或缺失信号补全的候选表示思路,但原论文对象是空间深度场,并非 EEG 解码。迁移假设依赖目标具有可聚类的连续数值结构及可用重建监督;可复用中心与偏移的表示方式,需将图像像素结构改造为通道—时间结构。EEG 低信噪比、跨被试幅值差异、通道布局变化和小数据条件可能使中心或偏移不稳定。一个可证伪的小实验是在固定被试内划分与相同人工遮蔽协议下,对比固定离散中心、聚类中心、聚类中心加偏移的重建误差。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性证据。

阅读价值

值得核对 CluDe 如何通过聚类深度中心与逐像素偏移缓解离散深度表示造成的边界模糊,但摘要中的性能结论及其对 EEG/BCI 的可迁移性尚待验证。

来源:OpenReview · Representation learning · openreview.net