UniW(A)M:统一世界模型与世界-动作模型的混合专家框架
UniW(A)M: A Unified Mixture-of-Experts Framework for World and World-Action Models
基于摘要分析。本文研究具身轨迹中的未来世界预测与可执行动作生成如何共享知识,同时保留两类任务各自需要的建模能力。作者提出基于 diffusion Transformers 的混合专家框架 UniW(A)M,将动作条件世界建模与多种世界-动作模型(WAM)变体纳入统一框架,主要研究对象是具身机器人预测与控制,而非 EEG 或 BCI。 机制上,共享专家学习共同的物理动力学与交互语义,原子能力专家在不同接口间复用,各接口仍保留自己的条件路径。部署时,插件式自适应接口路由器 PAIR 利用目标任务的一小部分执行片段场景进行学习,在骨干冻结的条件下,为每个执行片段选择合适的 WAM 接口,以兼顾任务成功与执行效率。摘要未披露专家配置、路由训练目标、具体条件输入及训练规模,相关细节尚未验证。 作者在 LIBERO、RoboTwin 2.0 和三个真实机器人操作任务上评估该框架。作者报告,三个真实任务的平均成功率为 88.3%,最强基线为 76.7%;在 WorldArena 的三项动作条件世界建模任务上均领先。作者还报告,动作条件世界模型(AC-WM)的联合训练有益于所有动作接口的动作生成,PAIR 将所报告 OOD 设置下的成功率从 63.3% 提升至 76.7%。这些结论限于摘要所述评估;基线身份、数据划分、各任务结果、消融协议及统计不确定性尚未验证。 平台推测(待验证):可供 EEG 多任务建模参考的是“共享机制、保留任务条件路径”的设计思路,而非直接复用机器人动作接口。其原始学习依赖具身轨迹及预测、动作接口的训练信号;若用于 EEG,需要重新定义神经信号表示、任务输出和路由依据。低信噪比、跨被试差异与小样本可能使专家分工不稳定或路由过拟合。一个可证伪的小实验是在固定跨被试划分与训练预算下,对比共享骨干、独立模型及共享专家加任务条件路径模型,检验是否出现稳定的多任务收益。该设想不属于原论文验证结果,已有相关 EEG 工作尚未检索确认。
值得关注其以共享专家与独立条件路径统一预测和控制的机制,以及冻结骨干后按执行片段选择接口的适配方式;摘要报告了机器人任务收益,但其对 EEG/BCI 的适用性尚未验证。
来源:arXiv · 架构与算子 · arxiv.org