跳到正文
OpenReview · State space models· Zhenyu Lu; Liupeng Li; Jinpeng Wang; Haoqian Kang; Manyuan Zhang; Yan Feng; Ke Chen; Yaowei Wang·· 2026-05-01精选AI 评分75

AffIn-Space:面向 MLLMs 三维空间理解的仿射不变表征学习

AffIn-Space: Learning Affine-Invariant Representations for 3D Spatial Understanding with MLLMs

AI 导读

基于摘要分析。研究针对多模态大语言模型(MLLMs)在视角与观察距离变化下的几何脆弱性,提出 AffIn-Space,通过显式几何对齐与模型内部的不变性约束,分离三维结构和外部相机位姿的影响。主要研究对象是三维视觉空间理解,而非 EEG 或 BCI。 机制分为两阶段:首先,从位姿特征得到分解后的仿射量,通过显式几何重采样,将三维特征空间对齐至规范状态,再进行融合;其次,在 MLLM 内通过正交投影约束隐藏状态,旨在去除位姿相关干扰,并借助条件重建保留可恢复的几何语义。作者将其与输入层融合、潜在重建等范式区分,认为后者仍与视角相关的像素网格纠缠。“严格仿射不变性”是作者提出的目标,其数学条件、投影空间构造及条件重建方式尚未验证。 作者报告在多个空间理解基准上取得 SOTA,并在仿射扰动下表现出更高稳定性。摘要两处基准列表不完全一致:首处列出 VSI-Bench、ScanQA、SQA3D、Scan2Cap 和 EmbodiedScan,末处将 VSI-Bench、SQA3D、Scan2Cap 列为空间推理任务,将 ScanRefer、EmbodiedScan 列为空间定位任务。具体任务划分、指标、对照基线、扰动范围及数值结果未提供,实验协议、消融及统计信息尚未验证,不能据此比较不同基准上的提升幅度。 复现需核对位姿与三维特征的来源、仿射分解和规范化流程、正交投影及条件重建的实现,以及训练监督和计算需求。作者表示将公开代码与详细说明,材料不能确认其已发布。该方法依赖明确的三维几何与位姿结构,不能直接将相机位姿不变性等同于 EEG 的跨被试或跨会话鲁棒性;目前没有足够材料建立具体迁移路径,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其几何重采样与隐藏状态正交投影如何实现仿射不变性,尤其是位姿扰动下的稳定性及几何语义保留证据;其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net