跳到正文
arXiv · 多模态与生成机制· Lei Yao; Qiao Feng; Mutian Tong; Qihao Yun; Lap-Pui Chau; Lingjie Liu·· 2 天前精选AI 评分75

UniLAP:用于跨具身操纵的统一潜在动作策略

UniLAP: A Unified Latent Action Policy for Cross-Embodiment Manipulation

AI 导读

基于摘要分析。UniLAP 研究如何从无动作标注的视频中学习细粒度动作先验,并将其用于跨具身机器人操纵。其核心贡献是以 flow matching 建模连续潜在动作空间,通过蒸馏 Latent Action Model(LAM)教师构建统一策略,推理时不依赖未来帧。 方法机制:论文针对离散潜变量的粒度瓶颈,以及既有连续潜在动作方法通常作为世界建模代理、还需额外规划才能生成可执行动作的问题提出方案。UniLAP 使用 flow-adaptive 目标蒸馏 LAM 教师;作者称该设计既继承教师的动作表示,又保留可行行为分布的多模态性。这里的多模态性指存在多种可行行为,并不等同于多种输入模态。为减少任务无关外观的干扰,方法提取无需标签的运动目标,旨在分离相关运动学线索与干扰性视觉动态。目标提取方式、蒸馏损失形式及潜在动作到具体平台控制量的适配流程尚未验证。 训练与结果:摘要说明模型以 1.1B 参数规模在多来源视频上预训练。作者报告,UniLAP 在手部姿态预测、单臂与人形机器人操纵及真实环境部署中,优于所比较的先进潜在动作与 Vision-Language-Action(VLA)基线。摘要未提供具体数据集、划分协议、指标、分数及基线配置,因此尚不能判断优势幅度或各任务结果的可比性;实验协议、消融及统计信息尚未验证。 适用边界与复现:原论文研究对象是视觉动作学习与机器人操纵,并非 EEG 解码或 BCI。其跨具身潜在空间不能直接等同于跨被试神经信号表示,摘要也未提供二者之间的具体机制证据,不据此提出已有效的迁移方案。已有 EEG 相关工作尚未检索确认。复现需进一步核对视频来源、LAM 教师配置、运动目标构造、平台适配所需监督与数据量,以及代码和权重的可用性。

阅读价值

值得关注其通过 flow matching 与教师蒸馏构建连续潜在动作策略、并在推理时摆脱未来帧依赖的机制,但跨具身性能优势及其对 EEG/BCI 的适用性尚未验证。

来源:arXiv · 多模态与生成机制 · arxiv.org