ViTacFormer：面向视觉—触觉灵巧操作的跨模态表征学习

基于摘要分析。该研究面向机器人灵巧操作，针对视觉在遮挡下难以支持精细控制的问题，提出融合视觉与触觉的 ViTacFormer，并结合未来触觉预测与课程式训练学习跨模态表征。 机制上，框架通过跨注意力融合视觉和触觉信息，使用自回归预测头估计未来触觉状态；训练课程逐步将真实触觉输入替换为预测触觉输入，作者将其作用描述为稳定表征学习。摘要未提供具体损失、预测时间跨度、输入替换调度或部署时的传感器依赖，尚不能判断性能收益分别来自融合、预测还是训练课程。 作者报告，在涵盖短时程与长时程任务的真实世界基准上，相比强基线，成功率提高约 50%；摘要未明确这一数字是相对增幅还是百分点变化，也未给出任务级成功率和基线名称。作者还声称首次完成连续运行 2.5 分钟的 11 阶段灵巧操作。上述结果限于其机器人操作评估背景；任务划分、重复试验、消融及统计信息尚未验证。 平台推测（待验证）：其“多模态融合＋未来状态预测＋渐进式预测输入替换”机制，可作为 EEG 与辅助模态联合建模的候选思路，但依赖时间对齐的多模态序列及可定义的预测目标，机器人触觉结果不等于 BCI 效果。可复用的是融合与训练课程思路，需改造信号编码、时间尺度和预测目标；EEG 的低信噪比、跨被试差异及小数据条件可能使预测误差累积。一个小规模可证伪实验是在固定 Cross-subject 划分下，对比仅融合、加入未来状态预测、再加入输入替换课程三种设置，检验课程是否带来稳定增益。相关 EEG 工作尚未检索确认。