跳到正文
arXiv · 多模态与生成机制· Wangze Xu; Chu Zhou; Mae Yamaguchi; Linrui Dai; I-Chao Shen; Takashi Ijiri; Imari Sato·· 4 天前精选AI 评分75

X-Splat:用于 RGB 与 X-ray 联合三维重建的统一 Gaussian Splatting

X-Splat: Unified Gaussian Splatting for Joint RGB and X-ray 3D Reconstruction

AI 导读

基于摘要分析。X-Splat 研究物体 RGB 外观与 X-ray 内部结构的联合三维重建,提出共享几何参数的统一 Gaussian 表示,旨在减少分模态建模带来的几何冗余、对齐伪影和跨模态耦合不足。 核心机制是让所有 Gaussian 基元共享同一套几何参数,仅为靠近表面的基元额外配置外观属性。跨模态配准使用干净的多视图立体重建结果与 X-ray 几何代理,而非直接对齐两套分别优化的 Gaussian。随后,两种模态的监督共同优化统一表示,并通过源自 X-ray 几何的表面深度一致性损失引导 RGB 重建。具体损失形式、几何代理构建流程及优化细节尚未验证。 作者报告,在 InsideOut 和团队提出的 Flower & Insect 数据集上,相较于维护两套独立几何的方案,该框架获得更稳健的跨模态对齐、更高的 RGB 渲染质量及更紧凑的表示,同时未损害 X-ray 重建质量。摘要未提供量化指标、数据划分、采集设置和完整基线,实验协议、消融及统计信息尚未验证,因而目前只能保留这些定性结论。 该工作的主要研究对象是物体多模态三维重建,并非 EEG 解码或 BCI。摘要未提供与神经信号任务的具体机制对应关系,不据此提出 BCI 迁移效果或复现实验建议。复现需进一步核对多视角 RGB 与 X-ray 数据要求、跨模态几何代理生成方式及实现资源。

阅读价值

值得关注其通过共享 Gaussian 几何与 X-ray 衍生深度约束联合重建物体外观和内部结构的机制,但对齐、渲染及表示紧凑性的收益仍需结合全文实验协议核对,不能据此推断 BCI 有效性。

来源:arXiv · 多模态与生成机制 · arxiv.org