通过视觉状态转移扩展 GUI 智能体

基于摘要分析。本文研究如何利用视觉状态转移数据提升 GUI 智能体，提出 State Transition Pretraining（STP）：先对统一多模态模型进行状态转移持续预训练，再使用带任务指令的轨迹微调。主要研究对象是桌面与移动端 GUI 操作，并非神经信号建模或 BCI。 核心机制是在 STP 阶段联合优化逆向动力学与正向动力学：前者根据状态变化预测动作，后者根据当前状态和动作预测下一状态。作者认为，这种联合学习能够形成与动作关联更紧密的视觉表征，并学习 GUI 动力学的内部世界模型。摘要未提供模型结构、损失具体形式、状态表示及下一状态预测的实现方式。 作者报告，在 AgentNetBench、AndroidControl 和 GUIOdyssey 的桌面及移动端 GUI 评估中，STP 后再进行任务轨迹微调的模型持续优于仅直接进行轨迹微调的基线；联合动力学优化相对单目标训练带来稳定提升，且下游表现随状态转移数据量增长而改善。摘要未给出具体指标、增益数值、数据规模、划分或计算预算，实验协议、消融及统计信息尚未验证；复现时需核对预训练数据构建、基线数据与计算预算的匹配条件。 平台推测（待验证）：这一机制可能适用于具有明确状态、动作及反馈记录的闭环 BCI 交互任务，而非直接替代 EEG 解码器。其依赖可配对的状态转移和动作监督；正向、逆向预测目标或可复用，但视觉状态表示需改造为神经信号与界面反馈的联合表示。低信噪比、反馈延迟、跨被试差异、通道变化及小数据可能使模型学到界面变化而非用户意图。一个可检验的假设是：在同一闭环 EEG 任务记录上，以固定数据划分和训练预算比较直接任务训练、单动力学预训练与联合动力学预训练，检验联合目标能否改善独立会话表现。已有 EEG 相关工作尚未检索确认。