DepState-JEPA：面向视觉感知与操控的深度信息锚定状态表征学习

基于摘要分析。该研究面向机器人视觉感知与操控，研究如何将场景几何与动作引起的状态变化连接起来。作者提出基于 V-JEPA 2.1 的双流 RGB–Depth 联合嵌入预测架构 DepState-JEPA，以共享潜在状态 DepState 支持空间理解和动作条件预测。 核心机制：深度既作为补充观测流，也用于将两种模态锚定到具有度量尺度的三维空间。框架将共享信息汇聚到 DepState，同时保留模态私有特征供解码使用。射线条件读出在不使用目标深度的条件下预测局部特征；经过动作条件状态转移后，同一组解码器结合预测状态与固定的初始私有特征，预测未来 RGB 和深度特征。机器人状态读出提供递归的本体感知输入，对象轨迹监督与经校准的前向运动学（FK）则通过运动目标及关节—工具中心点（TCP）一致性约束塑造状态学习。 作者报告，在摘要所述比较中，RGB-D 适应后的 RGB 编码器迁移、特征补全、条件视觉预测及操控成功率均有所提升。作者报告，模型内部消融识别了深度内容、度量坐标和未来状态匹配的贡献，FK 正则化还带来了额外的控制收益。摘要未提供数据集、机器人平台、训练与测试划分、对照方法或具体数值，因此无法判断增益幅度及其适用范围；实验协议、消融及统计信息尚未验证。 复现时需核对 RGB-D 标定与坐标构建方式、共享状态与私有特征的组织、动作条件转移、各监督项的具体定义，以及递归预测和操控评估流程。本文的主要证据针对机器人多模态视觉与动作建模，不构成 EEG 或 BCI 有效性的证据；已有 EEG 相关工作尚未检索确认。