ViTaForce：面向接触密集型模仿学习的成对视觉—触觉—力表征学习

基于摘要分析。ViTaForce 研究机器人接触密集型操作中的多模态表征学习，针对多模态 Diffusion Policies 将不同传感信号直接作为条件特征、难以保留模态分工及成对关系的问题，提出由三个成对编码器构成的跨模态框架。 输入包括场景与手眼 RGB 视觉、双侧触觉压力图，以及高采样率末端执行器力与力矩时间窗。三个编码器分别对应不同物理问题：V–T 利用手眼视觉学习手指上的接触位置；V–F 利用场景中的接近线索学习接触力何时突增；T–F 通过触觉门控的力信息，辨别哪些力与力矩分量来自真实接触，而非运动引起的偏置。其核心思路是为成对模态关系赋予明确物理含义，而非仅将所有信号统一输入策略。 作者报告，在螺母—螺栓插入等装配任务中，这些表征能够提高多模态反馈下的策略学习效率，并改善外部扰动下的准确性和鲁棒性。摘要未提供指标定义、数值、演示数据规模、数据划分或具体对照设置，因此无法量化收益，也不能确认各编码器的独立贡献。训练目标、跨模态时间对齐、策略接入方式、实验协议、消融及统计信息尚未验证。 该工作的主要研究对象是机器人操作，而非 EEG 或 BCI。当前摘要未建立这些物理接触关系与神经信号解码之间的具体机制对应，不据此推断 BCI 有效性；已有 EEG 相关工作尚未检索确认。复现评估需进一步核对传感器标定与同步、力信号偏置处理、外部扰动设置，以及与直接条件融合策略的受控比较。