Tac2Pix：用于灵巧操作的图像空间视觉—触觉融合

基于摘要分析。该研究面向机器人灵巧操作，针对视觉观测稠密且具有空间结构、触觉测量稀疏且以机器人为参照所造成的跨模态对齐困难，提出 Tac2Pix：利用触觉传感位置的几何先验，将触觉映射至 RGB 图像平面，在像素空间融合视觉与触觉，并利用预训练二维视觉表征。 核心机制是通过正向运动学与相机标定确定触觉测量在图像中的投影位置，再将其渲染为力感知显著性图。与在潜在空间融合两种模态相比，这一接口显式建立触觉与视觉的空间对应关系。方法还使用零初始化输入适配，使策略学习开始时保留原有视觉通路；具体适配结构、训练目标及策略优化方式尚未验证。 作者在三项仿真任务和三项真实世界灵巧操作任务上进行评估。作者报告，仿真实验中的收益覆盖不同任务、策略架构及视觉骨干；在真实世界视觉遮挡评估中，相较最强的潜在空间视觉—触觉融合基线，平均成功率提高 26.7 个百分点，且在随机遮挡与物理遮挡下均保持收益。摘要未提供各任务成功率、试验次数、基线名称及统计不确定性，实验协议、消融及统计信息尚未验证。 复现时需核对触觉测量的位置与力信息、运动学模型、相机标定、显著性图构造及预训练视觉骨干的适配方式，并区分几何对齐与输入适配各自的贡献。该研究的主要对象是机器人视觉—触觉策略学习，其对齐机制依赖可定位的接触测量；材料未提供 EEG/BCI 验证，也未建立神经信号与图像像素之间的对应机制，因此不将机器人实验收益外推为 BCI 算法效果。