跳到正文
OpenReview · State space models· Zhengtong Xu; Yeping Wang; Ben Abbatematteo; Jom Preechayasomboon; Sonny Chan; Nicholas Colonnese; Amirhossein H. Memar·· 2026-06-21精选AI 评分76

Contact-Grounded Policy:基于生成式接触锚定的灵巧视觉—触觉策略

Contact-Grounded Policy: Dexterous Visuotactile Policy with Generative Contact Grounding

AI 导读

基于摘要分析。本文研究多指机器人手的接触密集型灵巧操作,针对接触随时间演化、对物体几何与摩擦变化及滑移敏感的问题,提出 Contact-Grounded Policy(CGP)。其核心贡献是联合预测实际机器人状态与触觉反馈,再将预测转换为柔顺控制器可执行的目标状态,而不只是将触觉作为额外观测输入。 CGP 包含两个组件:条件扩散模型在压缩潜空间中预测未来机器人状态与触觉反馈的耦合轨迹;学习得到的接触一致性映射将预测的状态—触觉对转换为控制目标,使底层柔顺控制器能够实现预期接触。这里需要区分预测的实际状态与下发给控制器的目标状态,后者通过接触一致性映射获得。摘要未给出潜空间构建方式、训练损失、预测时域或控制器参数,这些实现细节尚未验证。 作者报告,在搭载 Digit360 指尖触觉传感器的实体四指 Allegro V5 手,以及搭载密集全手触觉阵列的仿真五指 Tesollo DG-5F 手上,CGP 在手内操作、精细抓取和工具使用等任务中优于视觉运动及视觉—触觉 diffusion-policy 基线。摘要未提供具体指标、提升幅度、训练数据规模与评估划分;实验协议、消融及统计信息尚未验证,不能据此判断各组件的独立贡献或跨硬件泛化能力。 平台推测(待验证):该机制与 BCI 的潜在联系主要在机器人执行端,而非 EEG 解码。假设 BCI 提供高层操作意图,CGP 可作为结合机器人状态与触觉反馈的执行模块,但仍依赖同步轨迹数据、触觉传感及控制器匹配,不能直接迁移为 EEG 模型。若引入 EEG 意图输入,需要改造条件接口,并验证低信噪比、跨被试差异、指令延迟及小数据带来的失配。一个可检验的小实验是在同一固定操作任务中,比较理想高层指令与真实 EEG 解码指令驱动同一 CGP 执行器的任务成功率和接触稳定性,以检验意图误差是否抵消执行端收益。相关 EEG/BCI 工作尚未检索确认。

阅读价值

值得阅读的是 CGP 将未来机器人状态与触觉反馈的联合预测连接到柔顺控制器可执行的目标状态,为核对接触建模相较于直接拼接触觉观测的价值提供了明确机制,但其 BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net