跳到正文
OpenReview · Representation learning· Xiaofeng Liu; Tong Che; Yiqun Lu; Chao Yang; Site Li; Jane You·· 2020-01-01精选AI 评分74

AUTO3D:通过无监督学习的变分视角与全局三维表征实现新视角合成

AUTO3D: Novel View Synthesis Through Unsupervisely Learned Variational Viewpoint and Global 3D Representation

AI 导读

基于摘要分析。AUTO3D 研究从单张或有限张二维图像出发、无需姿态监督的新视角合成,提出端到端可训练的条件变分框架,在以观察者为中心的坐标系中解耦相对姿态/旋转与隐式全局三维表征。 其全局三维表征涵盖形状、纹理及观察者中心坐标系原点等信息。模型通过空间相关模块,以对输入顺序不敏感的方式聚合来自不同视角的外观描述图像;随后利用无监督学习的相对姿态/旋转编码,由解码器生成新视角。摘要描述可通过从先验分布采样相对姿态来连续生成视图,强调无需显式三维重建即可学习隐式三维信息,但具体潜变量设计、训练目标及连续视角控制方式尚未验证。 作者报告,在多种应用和不同输入视图数量下,该方法的新视角合成结果可与使用姿态或三维模型监督的方法相当或更好。摘要未提供数据集、评价指标、具体数值及基线配置,因此无法判断优势的适用范围;实验协议、消融及统计信息尚未验证。 原论文的主要研究对象是视觉三维表征与图像生成,并非 EEG 或 BCI。材料未提供神经信号上的验证,也不足以建立具体的跨领域机制对应,因此不将其视为已验证的 BCI 方法;相关 EEG 工作尚未检索确认。复现需进一步核对全文中的数据构造、输入视图采样、先验设定及实现条件。

阅读价值

值得关注的是其在无姿态监督下解耦相对视角与全局三维表征、并以置换不变方式聚合多视图输入的机制;性能比较及其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net