面向接触密集型机器人强化学习的自监督多感官预训练

基于摘要分析。本文研究接触密集型机器人操作中视觉、力觉与本体感觉的联合表征学习，提出 MultiSensory Dynamic Pretraining（MSDP），以自监督预训练支持后续强化学习策略训练，并应对传感器噪声与物体动力学变化。 MSDP 基于掩码自编码，仅提供部分传感器嵌入，由基于 Transformer 的编码器重建多传感器观测，以学习跨模态预测与传感器融合。下游策略学习采用非对称 actor–critic 架构：critic 通过 cross-attention 从冻结嵌入中提取动态、任务相关的特征，actor 则使用稳定的池化表征生成动作。这里的关键设计是区分价值估计与动作生成所需的表征读取方式，而非简单地让两者共享同一特征输入。 作者报告，在多个仿真与真实机器人接触密集型操作任务中，MSDP 加快了学习，并在传感器噪声、物体动力学变化等扰动下表现出鲁棒性；真实机器人实验中，在线交互次数少至 6,000 次时仍获得较高成功率。摘要未提供具体成功率、任务划分、对照基线及交互计数定义，因此该数字不能直接用于跨方法比较。预训练数据规模、掩码策略、重建损失、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其跨模态重建机制可能对应 EEG 与其他同步传感器融合时的噪声及模态缺失问题，但原研究对象是机器人控制，不是 BCI。迁移假设依赖时间对齐的多模态数据；可复用掩码预训练与冻结表征的思路，需改造传感器嵌入、时间对齐和重建目标。EEG 低信噪比、被试差异、通道配置变化及小数据可能使模型主要依赖辅助模态，而未学到有用的 EEG 表征。可在同一配对多模态数据与固定跨被试划分下，对比掩码预训练和无预训练，并测试辅助模态缺失时的性能，以检验该假设；已有 EEG 相关工作尚未检索确认。