Remember Smarter:用于机器人记忆的视觉历史压缩器与双曲经验空间
Remember Smarter: Visual History Compressor and Hyperbolic Experience Space for Robotic Memory
基于摘要分析。研究面向机器人长时程操作中的零样本迁移:策略既要保留当前轨迹的视觉上下文,也要复用其他轨迹中的成功经验。作者提出 Remember Smarter(RS),为现有视觉–语言–动作(VLA)模型加入视觉历史压缩器与双曲经验记忆,而非直接研究 EEG 或 BCI。 视觉分支使用双向空间 Mamba 与因果时间 Mamba,汇总多相机视角的图像 patch 序列;通过残差交叉注意力,将历史摘要注入用于动作生成的视觉–语言模型(VLM)状态,同时保留原始视觉 token 序列。经验分支将成功简单子任务轨迹中的末层 VLM 状态编码到 Poincaré VAE 潜空间,并以受 HypHC 启发的二叉拓扑组织经验编码;检索所得经验转化为动作生成的提示 token。其机制重点是区分轨迹内上下文保留与轨迹间经验复用,并利用双曲空间表达经验之间的层级关系;具体损失、检索规则及训练安排尚未验证。 作者报告,在与 π_0 集成后,RS 在 LIBERO-Plus 上的总体成功率比基础策略提高 16.9 个百分点;摘要未提供具体任务划分、运行次数及统计不确定性。作者还报告真实机器人表现改善,包括对需要维持物体名称指代、应对视觉遮挡,以及辨识细微或视觉上不可观测状态变化(如按键动作)的任务组合进行零样本迁移,但未给出对应数值。实验协议、消融及统计信息尚未验证,不能据此区分两个记忆分支各自的贡献。 平台推测(待验证):历史压缩与经验检索的分离机制,可作为长时程 EEG 解码上下文建模的假设,但原方法依赖多视角视觉 token、VLM 状态及成功子任务轨迹,不能直接视为 EEG 方法。可考虑复用时间压缩模块;输入编码器、经验表征及检索条件需重新设计。低信噪比、跨被试差异和小数据规模可能使记忆表征偏向被试或设备特征。一个可证伪的小实验是在固定跨会话划分下,对比近期窗口基线、仅历史压缩及加入训练集经验检索的模型,检验收益是否稳定;已有 EEG 相关工作尚未检索确认。
值得阅读其将当前轨迹的视觉历史压缩与跨轨迹成功经验检索分离建模的机制;作者报告了机器人任务收益,但其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net