跳到正文
热点事件观察中

Fast-VLA:单次任务编码降低在线推理开销

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

基于摘要分析。Fast-VLA针对机器人VLA策略反复调用大模型的开销,每个episode仅调用一次冻结4B VLM,将指令和初始视图编码为固定多层键值记忆;轻量actor结合时间、机械臂索引及实时视觉与本体感觉反馈,检索记忆并预测动作块。 作者报告:RoboTwin 2.0 Clean/Randomized成功率为92.46%/92.40%,LIBERO/LIBERO-Plus为95.95%/79.11%;同硬件对比三个持续条件化基线,RoboTwin摊销策略推理加速10.9–17.1倍,预填充后在线常驻内存1.22 GiB,不代表整体峰值。记忆交换实验支持actor依赖匹配的任务记忆。 当前仅有摘要,未提供可核对的版本变化。训练数据、划分、硬件、计时边界及统计信息尚未验证;任务中途变化的鲁棒性与BCI适用性亦尚未验证。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv · 多模态与生成机制精选
    Fast-VLA:面向机器人操作的单次思考策略

    基于摘要分析。Fast-VLA 研究机器人操作中 Vision-language-action(VLA)策略反复调用大型模型带来的计算开销,核心贡献是将变化较慢的任务理解与持续更新的机器人状态分离,使基础模型每个 episode 仅运行一次,同时保留在线闭环反馈。 方法在 episode 开始时调用冻结的 4B VLM,将指令与初始视图编码为固定的多层键值任务记忆。执行阶段,轻量在线 actor 融合可学习的时间索引、机械臂索引查询与当前视觉及本体感觉反馈,形成动作查询,再从固定记忆中检索任务语境并预测动作块,无需重新运行基础模型。摘要未提供 actor 结构、训练目标及训练数据细节。 作者报告,Fast-VLA 在 RoboTwin 2.0 的 Clean 与 Randomized 评估中成功率分别为 92.46% 和 92.40%,在 LIBERO 与 LIBERO-Plus 评估中分别为 95.95% 和 79.11%。在同一硬件上,相对三个持续条件化基线,作者报告 RoboTwin 摊销策略推理耗时降低 10.9–17.1 倍,预填充后的在线常驻内存为 1.22 GiB。该内存数字不能等同于包含初始 VLM 调用的整体峰值内存;具体硬件、计时边界、数据划分、重复次数及统计信息尚未验证。作者还报告,任务记忆交换实验表明 actor 依赖与当前 episode 匹配的任务记忆,但摘要不足以判断任务中途变化时的鲁棒性。 平台推测(待验证):若 EEG/BCI 任务也具有相对稳定的任务指令与快速变化的神经状态,可考察复用“固定任务记忆+在线轻量解码”的解耦机制,但原方法依赖指令、初始视觉及实时视觉和本体感觉反馈,不能直接替换成 EEG。需改造信号编码器与查询接口;低信噪比、跨被试和跨通道差异、小数据训练及任务切换均可能使固定记忆失配。一个可证伪的小实验是在相同 EEG 数据划分下,对照固定任务记忆与逐窗口更新语境,分别核对解码指标、含初始化的端到端时延和任务切换后的性能。已有 EEG 相关工作尚未检索确认。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。