跳到正文
OpenReview · Representation learning· Sumukh K Aithal; Anirudh Goyal; Alex Lamb; Yoshua Bengio; Michael Curtis Mozer·· 2023-09-23精选AI 评分72

深度引导的自监督学习:在三维空间中观察世界

Depth-Guided Self-Supervised Learning: Seeing the World in 3D

AI 导读

基于摘要分析。该研究面向图像自监督表征学习,探讨如何利用单目图像估计的深度信息,补充仅在二维像素平面上进行的数据增强。核心贡献是比较深度输入与深度驱动的三维视角增强两条路径,以及二者结合的效果。 方法使用预训练单目 RGB-to-depth 模型 Depth Prediction Transformer 提供深度信号:一条路径将输入扩展为 RGB+depth 表征;另一条路径利用深度信息生成相机位置略有变化的新视图,作为自监督学习的三维增强。研究还考察两条路径的组合。这里的深度来自外部预训练模型估计,而非摘要明确给出的真实深度测量;其训练数据与监督来源尚需核对。 作者在 BYOL、SimSiam 和 SwAV 上评估这些策略,使用 ImageNette(ImageNet 的 10 类子集)、ImageNet-100 与 ImageNet-1k。作者报告,两种深度利用方式均能改善基线方法的鲁棒性和泛化能力,组合方式在多数设置下表现最好,表明二者可能提供互补信息。摘要未提供具体指标、数值、下游任务与数据划分;实验协议、消融及统计信息尚未验证,不能据此判断增益幅度或适用边界。 平台推测(待验证):可供 EEG 研究借鉴的假设是,具有物理或几何约束的视图生成可能比任意扰动更有利于保留任务相关信息,但图像深度和相机视角并不直接对应 EEG。若探索该方向,可复用自监督框架及多视图训练思路,而需将深度预测与图像重投影替换为适配电极位置、头模型和信号生成过程的增强模块。低信噪比、通道配置差异、跨被试解剖差异及小数据条件可能使增强偏差超过收益。一个可检验的小实验是在固定 EEG 编码器、训练数据与跨被试划分下,比较常规增强和几何约束增强,并检查增强是否保留任务标签语义。该实验仅是迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

该研究值得关注之处在于区分了深度作为输入信息与深度驱动视角增强的作用,并在多种自监督框架和图像数据集上考察二者的互补性;其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net