REKI以寄存器缓存保留机器人控制近期历史
先了解这件事
基于摘要分析。REKI针对视觉—语言—动作模型的近期历史利用问题,提出24亿参数模型:视觉语言模型后接流匹配动作专家,以公开机器人、第一人称人类活动及视觉语言数据预训练;少量寄存器token汇总逐帧视觉语言输出,并持久保留于动作专家缓存。 作者报告,在LIBERO-Plus、RoboTwin Clean2Rand和RoboCasa365上,仅约两倍规模模型表现更优;记忆机制提升仿真与真实机器人任务成功表现,使姿态往复振荡频率约降至四分之一。具体指标、比较模型、数据划分、任务与统计条件尚未验证。 本次报道同时宣布开放全流程代码及预训练、微调权重;未提供可核对的版本变更。缓存开销、消融及复现质量尚未验证,开放不等于有效性获证。平台分析:该成果研究机器人控制,尚无BCI有效性证据。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv · 多模态与生成机制精选REKI:在 VLA 中注册知识
基于摘要分析。REKI 面向机器人视觉—语言—动作控制,提出一个仅使用公开数据预训练的 2.4B 参数 vision-language-action model(VLA),并通过可持续缓存的 register tokens 引入近期历史记忆。作者同时宣布发布数据整理、训练、推理、评估与部署代码,以及全部预训练和微调权重。 模型由 vision-language model(VLM)和其后的 flow-matching action expert 组成,预训练数据混合了经过整理的公开机器人数据、第一人称人类活动数据及视觉—语言数据。记忆机制在 action expert 中使用少量 register tokens,汇总每帧 VLM 输出并保留在 expert 的缓存中,使策略能够访问近期历史;摘要未披露具体 token 数量、记忆更新方式或损失细节。 作者报告,在 LIBERO-Plus、RoboTwin Clean2Rand 和 RoboCasa365 上,REKI 仅被参数规模约为其两倍的模型超过,并据此主张其性能与模型规模之间形成新的 Pareto 前沿;具体指标、比较模型及评估协议尚未验证。作者还报告,加入记忆后,仿真和真实机器人任务的成功表现改善,姿态间往复振荡的发生频率约降至原来的四分之一,但摘要未给出相应任务、基线及统计信息。训练和推理效率、记忆开销、数据划分、消融及统计信息均需结合全文核对。 平台推测(待验证):若研究对象是连续 EEG 驱动的控制策略,其低成本历史记忆可能对应短时状态不稳定问题,但机器人视觉输入与 EEG 的数据结构、监督及噪声分布不同,原结果不等于 BCI 有效。可复用的是 register tokens 与缓存思路,需改造 EEG 编码器、时间尺度和动作输出头;低信噪比、跨被试或通道变化可能导致错误状态在缓存中累积,小数据也可能使记忆模块过拟合。一个可检验的小实验是在固定被试内划分和相同 EEG 编码器下,对比无记忆与 register-token 缓存的连续解码性能及输出抖动,同时记录延迟。已有 EEG 相关工作尚未检索确认。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 710月16日 14:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。