跳到正文
OpenReview · State space models·· 2026-08-20精选AI 评分73

Sparse World Models:基于稀疏潜在状态的视觉世界建模

Sparse World Models: Visual World Modeling with a Sparse Latent State

AI 导读

基于摘要分析。本文研究视觉世界模型中的状态表示问题:预训练视觉编码器的特征虽能表征图像,却可能在潜在单元间混合、分散场景因素,使状态难以读出和干预。作者提出 Sparse World Models(SWMs),将冻结视觉特征经稀疏自编码器转换为稀疏编码,并完全在该编码上学习动力学与进行规划。 核心机制是重组世界模型的状态表示,而非直接改变视觉编码器。作者报告,稀疏性能够将控制相关信息集中到少量单元,使少数单元即可达到与完整状态相当的子目标规划表现;稀疏编码也比所替代的稠密特征更易读出和干预。作者还报告,在摘要所述视觉规划评估中,使用仅为稠密潜在维度三分之一的状态仍能保持相近的规划表现。具体任务、对照模型、规划指标与统计不确定性尚未验证,不能据此推断所有任务上的性能等价。 摘要未给出稀疏自编码器的损失形式、稀疏度约束、视觉编码器名称、动力学模型结构、训练数据规模及规划算法;实验协议、消融及统计信息尚未验证。复现时需核对少量单元的选取方式、子目标定义,以及可读出性和干预效果的测量标准。 平台推测(待验证):若 EEG 编码特征中也存在任务因素混合,稀疏状态重组可能用于探索更易读出的任务相关表示,但视觉控制中的有效性不等于 BCI 有效性。可复用的是冻结编码器后接稀疏自编码器的表示路径;需改造的是 EEG 输入编码、时序约束与任务目标。低信噪比、跨被试差异、通道变化和小数据可能使稀疏单元聚焦伪迹或被试身份。一个可检验的小实验是在固定划分和同一冻结 EEG 编码器下,对比原始特征、稀疏编码与等维度降维基线的任务读出表现及单元扰动敏感性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其用稀疏自编码器重组冻结视觉特征、并直接在稀疏状态上学习动力学与规划的机制,但可读出性、干预效果及降维后的规划表现仍需结合全文协议核对。

来源:OpenReview · State space models · openreview.net