Touch-JEPA：有限触觉监督下基于手—物交互视频的触觉表征学习

基于摘要分析。Touch-JEPA 研究如何在触觉测量成本高、覆盖范围有限的条件下，从手—物交互视频学习接触状态与触觉强度表征。其贡献是结合视频自监督预训练与有限触觉监督，使视觉表征学习获得测量数据提供的物理约束；主要研究对象是人手及机器人手的触觉感知，而非 EEG 或 BCI。 机制上，方法利用从视频提取的手部几何信息，在对应手表面位置上，根据空间和时间上下文预测被掩码的视觉特征，以促进表征捕获潜在接触动态。联合学习阶段对所有视频执行掩码预测，仅对有触觉标签的子集施加触觉监督，将共享表征与实测接触状态及强度关联。摘要未给出具体损失形式、几何提取流程或模型规模。 作者报告：仅进行自监督预训练后，在冻结 Touch-JEPA 特征上训练简单监督读出器，其接触判别与触觉强度估计表现，在三个人手基准上优于监督基线；表征还可在不使用机器人触觉训练数据的条件下迁移至机器人手。这里并非下游读出完全无需监督。作者报告，加入有限触觉监督的联合学习可进一步改善人手基准上的估计结果。基准名称、数据划分、标注比例、指标数值、基线细节，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是“在具有明确对应关系的结构化位置上进行掩码预测，再用少量任务标签约束表征”，而非直接复用触觉模型。若用于 EEG，需将手表面几何对应改造为通道空间与时间对应，并重新设计预测目标；它可能针对标签稀缺问题，但低信噪比、跨被试差异及通道配置变化也可能使模型主要学习非任务因素。一个可检验的小实验是在固定跨被试划分与标注预算下，对比几何感知掩码预测、普通掩码预测及纯监督训练，检验结构对应是否带来稳定增益。上述均非本文已验证结果，已有 EEG 相关工作尚未检索确认。