跳到正文
arXiv · 多模态与生成机制· Juliette Marrie; Paul Pacaud; Adrien Ramanana Rahary; Shizhe Chen; Moritz Böhle·· 15 小时前精选AI 评分79

REKI:在 VLA 中注册知识

REKI: Registering Knowledge in VLAs

AI 导读

基于摘要分析。REKI 面向机器人视觉—语言—动作控制,提出一个仅使用公开数据预训练的 2.4B 参数 vision-language-action model(VLA),并通过可持续缓存的 register tokens 引入近期历史记忆。作者同时宣布发布数据整理、训练、推理、评估与部署代码,以及全部预训练和微调权重。 模型由 vision-language model(VLM)和其后的 flow-matching action expert 组成,预训练数据混合了经过整理的公开机器人数据、第一人称人类活动数据及视觉—语言数据。记忆机制在 action expert 中使用少量 register tokens,汇总每帧 VLM 输出并保留在 expert 的缓存中,使策略能够访问近期历史;摘要未披露具体 token 数量、记忆更新方式或损失细节。 作者报告,在 LIBERO-Plus、RoboTwin Clean2Rand 和 RoboCasa365 上,REKI 仅被参数规模约为其两倍的模型超过,并据此主张其性能与模型规模之间形成新的 Pareto 前沿;具体指标、比较模型及评估协议尚未验证。作者还报告,加入记忆后,仿真和真实机器人任务的成功表现改善,姿态间往复振荡的发生频率约降至原来的四分之一,但摘要未给出相应任务、基线及统计信息。训练和推理效率、记忆开销、数据划分、消融及统计信息均需结合全文核对。 平台推测(待验证):若研究对象是连续 EEG 驱动的控制策略,其低成本历史记忆可能对应短时状态不稳定问题,但机器人视觉输入与 EEG 的数据结构、监督及噪声分布不同,原结果不等于 BCI 有效。可复用的是 register tokens 与缓存思路,需改造 EEG 编码器、时间尺度和动作输出头;低信噪比、跨被试或通道变化可能导致错误状态在缓存中累积,小数据也可能使记忆模块过拟合。一个可检验的小实验是在固定被试内划分和相同 EEG 编码器下,对比无记忆与 register-token 缓存的连续解码性能及输出抖动,同时记录延迟。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以 register tokens 和缓存实现低成本时序记忆的机制,以及完整训练与评估实现;作者报告的机器人控制收益不能直接视为 EEG/BCI 有效性证据。

来源:arXiv · 多模态与生成机制 · arxiv.org