射线空间中的 SE(3) 等变卷积与 Transformer
$SE(3)$ Equivariant Convolution and Transformer in Ray Space
基于摘要分析。该研究针对多视图覆盖不足、视角间基线不足时的 3D 重建与新视角渲染问题,提出射线空间中的 SE(3) 等变卷积与 Transformer,以在仅给定相机相对位姿的条件下学习随坐标系变换保持等变关系的几何先验。 核心机制是将 3D 射线空间建模为 SE(3) 的齐性空间,并在该空间上定义等变卷积。根据输出域不同,作者构造了从射线空间到射线空间、以及从射线空间到 ℝ³ 的卷积式等变映射,并进一步将数学框架扩展至射线空间中的等变注意力。这里的等变性指输入经历旋转和平移后,输出按相应几何规则变化,而非输出完全不变。 相较于摘要所述依赖给定或学习得到的 3D 规范坐标系来学习几何先验的方式,该工作强调利用相机相对位姿与射线空间的群作用组织多视图信息。作者将这些算子适配至等变 3D 重建和等变神经渲染任务;作者报告,在经过旋转和平移变换的数据集上,无需变换增强仍取得稳健结果。摘要未提供具体数据集、评价指标、数值或对照基线,因此尚不能量化效果或判断优势范围。 复现需核对射线表示、相机位姿输入、等变卷积与注意力的具体实现、任务训练目标,以及旋转平移测试的构造方式;实验协议、消融及统计信息尚未验证。该论文主要研究多视图视觉几何,并非神经信号解码。其机制依赖明确的射线几何与 SE(3) 变换结构,现有材料不足以建立直接的 EEG/BCI 迁移路径;相关 EEG 工作尚未检索确认。
值得阅读其将射线空间建模为 SE(3) 齐性空间并构造等变卷积与注意力的数学框架,但摘要中的旋转平移稳健性结论仍需结合全文实验协议核对,不能直接视为 EEG/BCI 有效性证据。
来源:OpenReview · State space models · openreview.net