OmniView-Space:通过多视角空间映射强化空间推理
OmniView-Space: Reinforcing Spatial Reasoning via Multi-Perspective Spatial Mapping
基于摘要分析。本文研究多模态大语言模型(MLLMs)在复杂查询和多步推理中难以维持一致空间表征的问题,提出 OmniView-Space,通过查询对齐的多视角空间映射、工具引导的自我中心推理和认知地图蒸馏,使空间证据适配相机、物体或方向中心参考系。 方法包含三个核心组件。Multi-Perspective Spatial Mapping(MPSM)将重建几何重新锚定为与查询对齐的视觉认知地图和文本空间图;Tool-Guided Egocentric Reasoning 训练交错式策略,主动选择查询所需的自我中心锚点,并请求相应的 MPSM 证据;Cognitive-Map Distillation 利用 MPSM 生成的轨迹与自我中心参考系奖励,训练模型借助自行生成的认知地图推理。其主要机制是让空间证据随查询所需参考系转换,而非仅依赖固定的文本描述或三维重建表示。 作者报告,在单图像与多图像空间推理基准上,OmniView-Space 达到最先进性能;蒸馏后的模型在减少对外部几何处理流程依赖的同时保持该性能。摘要未提供基准名称、数据划分、对照模型、指标数值或计算开销,因此尚不能核验优势幅度、比较条件及蒸馏前后的具体差异。几何重建质量、锚点选择策略、奖励定义、蒸馏训练细节、实验协议、消融及统计信息尚未验证。 该研究的主要对象是视觉场景中的空间推理,而非 EEG 解码或 BCI。现有材料未建立该机制与神经信号建模之间的具体对应关系,因此不据此推断 BCI 有效性,也不提出迁移实验建议;相关 EEG 工作尚未检索确认。
值得关注其将查询对齐的空间证据重锚定、工具调用策略与认知地图蒸馏相结合的机制,但性能优势及对外部几何流程依赖的降低仍需结合完整实验协议核验。
来源:OpenReview · State space models · openreview.net