CoTL:用于三维场景表征的紧凑 Token 学习
CoTL: Compact Token Learning for 3D Scene Representation
CoTL 研究如何从无相机位姿的多视图图像中学习保留场景几何与外观的紧凑表征,核心贡献是将少量潜在 token 与可渲染的 3D Gaussian 重建目标相结合。基于摘要分析,未取得论文全文。 编码器先将每个视图压缩为少量潜在 token,再聚合跨视图信息,形成视图一致的场景表征。每增加一个视图,仅增加一组规模较小且与图像分辨率无关的 token,使表征容量随观测增加而扩展;这并不意味着总 token 数固定或整体计算成本与分辨率无关。 为使紧凑瓶颈保留足够的场景信息,query-based Gaussian decoder 使用与具体场景无关的查询,对学习到的 token 进行注意力读取,恢复显式、可渲染的 3D Gaussian primitives。训练通过重建出的 Gaussian 场景进行新视角渲染监督,实现端到端表征学习;具体损失形式与训练配置尚未验证。 作者报告,在摘要中写作“\retenk{}”的数据集及 ACID 上,该紧凑、非结构化 token 集合支持具有竞争力的新视角合成,并可作为生成模型的潜在空间,用于生成 3D Gaussian 场景。“\retenk{}”的正式数据集名称尚未核实;摘要未提供具体指标、数据划分、对照基线或生成质量数值,不能据此作定量比较。实验协议、消融及统计信息尚未验证,代码与复现条件也尚未确认。 该方法的已述机制依赖多视图几何、可渲染场景及新视角监督,主要研究对象是三维视觉,而非神经信号。现有材料不足以建立其与 EEG 瓶颈的具体对应关系,因此不将其表述为 BCI 方法创新;已有 EEG 相关工作尚未检索确认。
值得关注其以可渲染的 3D Gaussian 重建约束紧凑 token 瓶颈的机制,但摘要仅支持三维视觉任务中的作者结论,尚不能据此判断 EEG/BCI 迁移价值。
来源:arXiv · 表征与预训练 · arxiv.org