跳到正文
OpenReview · Representation learning· Honglin Chen; Wanhee Lee; Hong-Xing Yu; Rahul Mysore Venkatesh; Joshua B. Tenenbaum; Daniel Bear; Jiajun Wu; Daniel LK Yamins·· 2024-03-27精选AI 评分77

通过可移动对象推断进行无监督三维场景表征学习

Unsupervised 3D Scene Representation Learning via Movable Object Inference

AI 导读

基于摘要分析。本文研究复杂视觉场景中无监督、类别无关、以对象为中心的三维表征学习,提出 Movable Object Radiance Fields(MORF),以可移动对象推断辅助发现和重建对象,而非主要依赖外观相似性。 核心机制是将可在单目视频上无监督预训练的二维可移动对象推断模块提升到三维。直接获得三维可移动对象信号通常需要运动对象的多视图视频;作者提出的路径使 MORF 在场景训练阶段仅需静态场景的多视图图像,但仍依赖前述单目视频预训练。测试时,输入新场景的单张图像,目标是发现、重建并移动来自未见类别的对象。摘要未说明二维模块的具体结构、提升过程、损失函数或训练阶段的衔接方式。 作者提出包含多样化纹理对象的模拟数据集用于训练与测试。作者报告,MORF 能提取准确的对象几何,支持逼真的对象与场景重建及编辑,并显著优于当时的先进方法;摘要未提供指标、数值、基线名称和数据划分,因此尚不能量化或独立核对其优势。实验协议、消融及统计信息尚未验证,真实场景上的泛化表现也尚未验证。 该工作的主要对象是视觉三维场景,而非 EEG 或 BCI。可移动性线索依赖图像、视频及多视图几何结构,当前材料未提供其与神经信号表征之间的具体机制对应,不据此推断 BCI 有效性;相关 EEG 工作尚未检索确认。

阅读价值

值得核对 MORF 如何将单目视频中无监督预训练的二维可移动对象推断模块提升到三维,并在静态场景多视图训练后实现单图对象发现与编辑;具体优势仍需全文中的对照与评估协议验证。

来源:OpenReview · Representation learning · openreview.net