跳到正文
OpenReview · State space models·· 2026-09-14精选AI 评分77

GUI 并非状态:诊断 GUI 世界模型中的状态混叠

THE GUI IS NOT THE STATE: DIAGNOSING STATE ALIASING IN GUI WORLD MODELS

AI 导读

基于摘要分析。本文研究 GUI 世界模型(GUI-WMs)在仅依据当前界面观测与动作预测未来时出现的状态混叠:相同的可见条件可能隐藏不同的、影响状态转移的环境状态,因此对应多个有效未来。核心贡献是诊断基准 StateAliasBench,以及利用历史恢复结构化预测状态、增强冻结 GUI-WMs 的方法。 StateAliasBench 通过严格配对显式隔离上述歧义。方法侧以历史信息推断结构化状态,再通过确定性状态接口将其提供给保持冻结的 GUI-WMs;针对不同状态类型的专用估计器承担状态恢复,并通过多教师蒸馏整合为统一估计器。摘要未说明历史的具体组成、状态类型、配对约束、接口实现或蒸馏损失,这些细节尚未验证。 作者报告,在所评估的 GUI-WMs 上,仅使用观测进行条件化会产生系统性失败;预测状态增强明显恢复了对状态差异敏感的预测,同时保持生成保真度,并改善 GUI agents 在 AndroidWorld 上的下游表现。摘要未提供模型名单、样本规模、数据划分、指标及效果数值,不能据此判断提升幅度或跨环境泛化能力。实验协议、消融及统计信息尚未验证;复现需核对严格配对如何控制动作与可见条件、历史信息的可用范围,以及冻结模型与增强模型的对照设置。 平台推测(待验证):可迁移的机制假设是“当前观测不足时,由历史恢复影响未来的状态”,而非 GUI 方法已具备 EEG/BCI 有效性。若 EEG 时序预测确实依赖当前窗口未充分表达的上下文,可考虑复用历史状态估计与冻结模型条件增强思路,但 GUI 的结构化状态和确定性接口需重新设计。低信噪比、跨被试差异及小数据可能使估计器捕捉伪相关而非有效状态。一个可检验的小实验是在固定数据划分与预测器下,比较当前窗口、真实历史增强和打乱历史增强,检验收益是否来自有效时序上下文。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的具体原因是,论文以严格配对诊断 GUI 观测不足以决定状态转移的问题,并提出不更新世界模型主体的历史状态增强路径;其评估协议与效果幅度尚需全文核对。

来源:OpenReview · State space models · openreview.net