面向 GUI 智能体的潜在世界动作模型

基于摘要分析。本文研究 GUI 智能体如何预测动作执行后的状态，将预测目标从完整屏幕的像素重建改为潜在空间中的动作诱导未来信息，以减少与动作选择无关的外观建模开销，并缓解预测过度保留当前状态的“恒等捷径”问题。 核心机制是采用大型多模态模型作为潜在世界模型，由共享表征支持动作头与转移头：动作头直接输出动作选择，转移头建模以动作作为条件的未来信息。作者进一步引入动作感知对比目标，使转移表征关注具有区分性的动作诱导变化。相较于先生成未来屏幕、再重新感知并选择动作的两阶段方案，该方法改变了预测对象，也省去了完整像素重建环节；具体对比样本构造、损失形式及训练流程尚未验证。 作者报告，在离线与在线 GUI 实验中，相对像素空间世界模型，任务成功率分别最高相对提升 31.9% 和 40.6%，推理延迟最高降低 98.9%。这些是摘要所述不同评估场景中的最高收益，成功率的相对提升不是百分点增加，也不能据此认定全部收益来自同一实验配置。数据集、任务构成、数据划分、基线实现、推理硬件、延迟测量范围，以及消融与统计信息尚未验证。 阅读正文时需核对潜在预测目标的定义、动作头与转移头如何联合训练，以及恒等捷径改善的直接证据。原论文主要研究对象是 GUI 交互，摘要未提供 EEG/BCI 实验；其动作条件潜在预测机制在神经信号任务中的适用性尚未验证，已有 EEG 相关工作尚未检索确认。