跳到正文
OpenReview · Representation learning· Yu-Shiang Wong; Niloy J. Mitra·· 2023-12-31精选AI 评分76

面向场景理解的因子化神经表示

Factored Neural Representation for Scene Understanding

AI 导读

基于摘要分析。本文研究如何从单目 RGB-D 视频中学习可解释、可编辑的动态场景表示,尤其针对包含多个运动或形变对象的场景。核心贡献是因子化神经场景表示:构建对象级神经表示,并显式编码对象的刚性运动轨迹和/或非刚性形变,使场景操作不局限于新视角合成。 摘要将既有方法的局限概括为依赖场景先验、预训练模板或已知形变模型,以及采用全局场景编码、对多视角采集和有限运动的假设。本文改以对象为单位组织表示,并从单目 RGB-D 视频直接学习。这里的输入包含深度信息,不能等同于仅使用单目 RGB 视频;具体表示结构、对象分解方式、优化目标与训练流程尚未验证。 作者报告,在合成与真实数据上同多种神经方法进行比较,结果表明该表示具有效率、可解释性和可编辑性,并以修改对象轨迹作为编辑示例。摘要未提供数据集名称、评价指标、数值结果或具体基线,实验协议、消融及统计信息尚未验证。摘要声明代码与数据已公开,但其可用性及复现条件尚未核验。 论文的主要研究对象是计算机视觉中的动态场景表示,所给材料不提供 EEG 或 BCI 验证,也不足以建立具体迁移路径,因此不将对象级因子化直接解释为已验证的神经信号解耦方法。

阅读价值

值得阅读之处在于将动态场景表示分解到对象层级,并显式编码运动与形变以支持编辑;其效率和可解释性优势仍需结合全文的评估协议与对照结果核对。

来源:OpenReview · Representation learning · openreview.net