S-Space:探索多模态语言模型中的空间工作区
S-Space: Exploring Spatial Workspace in Multimodal Language Models
基于摘要分析。本文研究多模态语言模型(MLLMs)内部如何表示空间位置并支持空间推理,提出 S-Space:对象 token 表征中编码水平、垂直与距离轴连续坐标的线性子空间。核心贡献是将这一子空间解释为内部空间工作区,并用它分析感知编码、视角变换与语言回答之间的关系;研究对象不是 EEG 或 BCI,也不能由来源分类推断其采用 State Space Models。 机制上,作者通过计算空间回答得分相对于对象 token 激活的梯度来识别空间轴。作者报告,这些轴在非空间问题下仍可读出,据此认为 S-Space 是模型内在的表征结构,而非由特定数据或提示诱导。感知过程将对象位置编码到该空间,内部推理则对表征进行变换以适应视角变化。作者报告,针对该空间的因果干预能够改变空间判断,同时大体保留非空间回答,为语言输出选择性访问空间表征提供证据;干预范围及非空间能力保持程度尚未验证。 作者报告,案例分析显示 S-Space 可为未见实体和观察者分配位置,并关联物理方向与抽象语言含义。在错误诊断中,方向词读出显示基本方位参考系与图像相对参考系存在系统性耦合;感知—计算分解进一步提示,模型能够形成有用的位置表征,但跨视角推理所需的空间变换仍是瓶颈。这些结论需结合具体模型、任务与对照条件理解,不能据摘要认定适用于所有 MLLMs。 摘要未提供模型名称、数据集、样本规模、划分、量化指标或实现细节,实验协议、消融及统计信息尚未验证。复现需核对对象 token 的确定方式、空间轴估计与读出流程、因果干预设计,以及感知—计算分解如何独立评估两类能力。材料未建立其与 EEG/BCI 的具体机制对应,因此不据此提出迁移效果或复现实验建议;已有 EEG 相关工作尚未检索确认。
值得阅读的是作者将空间表征的线性读出、因果干预与感知—计算分解结合,用于区分位置编码能力与视角变换推理瓶颈,但具体实验协议和干预选择性仍需全文核对。
来源:OpenReview · State space models · openreview.net