PrismWAM:世界动作模型中的状态表示解耦
PrismWAM: Decoupling State Representations in World Action Models
基于摘要分析。研究针对 World Action Models(WAMs)中预训练视频模型的潜在表征混合外观语义与物理配置的问题,提出 PrismWAM,将语义与物理状态解耦,并联合建模状态和动作;主要研究对象是具身操控,而非 EEG 解码或 BCI。 方法将具身任务分解为 Semantic Planning → Physical Rollout → Executable Action 三个阶段:仅给定初始 RGB 观测,语义规划学习预测最终目标图像;物理展开在深度空间预测通向目标的细粒度演化;随后根据深度演化生成可执行动作。核心思路不是仅预测世界的视觉外观,而是通过分离语义目标与物理演化,刻画世界如何响应动作。摘要未提供具体网络结构、损失函数、训练阶段或动作生成接口。 作者报告,在不使用具身动作预训练或额外数据增强的条件下,PrismWAM 在仿真及真实世界操控中达到最先进性能,并超过包括 OpenWAM-α 在内的多种使用大规模具身动作预训练的模型。摘要未给出任务、数据集、划分、指标及具体数值,因此这些优势的适用范围、基线可比性、消融及统计信息尚未验证。“无具身动作预训练”也不能据此理解为没有使用其他预训练模型。 作者进一步提出将 WAM 的状态表示扩展至占据、流、触觉和本体感觉等方向;摘要未表明这些扩展均已得到实验验证。目前材料未提供神经信号到语义或物理状态的具体对应机制,不宜将其改写为已验证的 BCI 算法贡献;已有 EEG 相关工作尚未检索确认。复现需取得全文,核对训练数据与预训练依赖、目标图像及深度监督来源、操控评估协议和实现条件。
值得关注其将语义目标规划与深度空间物理演化分离的状态表示设计,但作者报告的操控性能优势及其对 BCI 的适用性仍需分别核验。
来源:OpenReview · State space models · openreview.net