跳到正文
OpenReview · State space models· Yinshuang Xu; Jiahui Lei; Kostas Daniilidis·· 2023-01-01精选AI 评分80

射线空间中的 SE(3) 等变卷积与 Transformer

SE(3) Equivariant Convolution and Transformer in Ray Space

AI 导读

基于摘要分析。本文面向多视图 3D 重建与新视角渲染,研究在视角覆盖和视图间基线不足时,如何利用几何先验,并避免依赖固定或学习得到的规范坐标系。核心贡献是利用相机相对位姿,在三维射线空间中构造 SE(3) 等变卷积与 Transformer,使多视图先验的学习与坐标系变换保持一致。 技术上,作者将射线空间建模为 SE(3) 的齐性空间,定义射线空间上的等变卷积,并根据输出域构造从射线空间到射线空间、以及从射线空间到 R³ 的等变映射;随后将数学框架扩展至射线空间中的等变注意力。这里的 SE(3) 对应三维旋转与平移,等变性要求输入发生相应变换时,输出按规定的群作用一致变换,而不是简单保持不变。 作者将这些算子适配于等变 3D 重建和多视图等变神经渲染。作者报告,在经过旋转和平移变换的数据集上,无需进行变换数据增强也能获得鲁棒结果。摘要未提供数据集名称、数据划分、比较基线、具体指标或数值,因此尚不能判断鲁棒性的幅度、与其他几何先验方法的差异及适用范围;实验协议、消融及统计信息尚未验证。 该方法依赖多视图射线及相机相对位姿,其已展示的研究对象是视觉几何,而非神经信号解码。现有材料未建立射线空间与 EEG 通道、时间序列或被试差异之间的具体对应关系,因此不据此提出 BCI 迁移效果或复现实验建议;已有 EEG 相关工作尚未检索确认。复现时需进一步核对全文中的射线表示、群作用、算子实现、位姿输入条件及重建与渲染评估协议,代码可用性尚未验证。

阅读价值

值得阅读其将射线空间建模为 SE(3) 齐性空间并构造等变卷积与注意力的数学框架;作者报告的免变换增强鲁棒性仍需结合全文实验协议核对,不能直接视为 EEG/BCI 有效性的证据。

来源:OpenReview · State space models · openreview.net