跳到正文
OpenReview · Representation learning· Guanqun Cao; Jiaqi Jiang; Danushka Bollegala; Shan Luo·· 2023-01-01精选AI 评分73

从不完整触觉数据中学习:基于 Masked Autoencoders 的触觉表征学习

Learn from Incomplete Tactile Data: Tactile Representation Learning with Masked Autoencoders

AI 导读

基于摘要分析。该研究针对机器人触觉感知中接触不充分或不稳定造成的信号缺失,提出基于 Masked Autoencoder 的触觉表征学习方法 TacMAE,通过重建被遮蔽的触觉图像区域,从有限触觉线索中学习表面几何与触觉属性表征。研究对象是触觉图像,并非 EEG 或 BCI。 核心机制是在训练时遮蔽部分触觉图像,以模拟接触区域缺失,再通过缺失信号重建学习表征。该方法依赖触觉图像的空间结构及可供重建的观测信息;具体掩码策略、重建目标、模型结构、训练规模与监督配置尚未验证。 在触觉纹理识别实验中,作者报告零样本迁移的识别 Accuracy 为 71.4%,微调后为 85.8%;相对不使用掩码建模的结果,原文分别表述为提高 15.2% 和 8.2%,但摘要未明确这些差值指相对百分比还是百分点。相关数据集、划分及迁移条件尚未验证,不能与其他协议直接比较。作者另报告 YCB objects 实验支持所学知识的可迁移性及提高触觉探索效率的潜力,但摘要未给出对应指标。实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设掩码重建能够利用信号冗余学习缺失观测下的稳健表征,这一机制可对应 EEG 通道掉线或片段缺失问题。可复用掩码与重建思路,但需将触觉图像的空间结构改造为 EEG 的通道—时间结构,并重新设计缺失模式与重建目标。低信噪比可能使模型重建噪声,跨被试差异、通道布局变化及小数据也可能削弱效果。一个可证伪的小实验是在同一 EEG 数据划分和相同下游模型下,比较有无掩码预训练在受控通道或时间片段缺失时的性能变化,并单独报告无缺失条件;不能由触觉结果推定 EEG 收益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 TacMAE 如何通过掩码重建提升不完整触觉图像的表征能力,以及其相对无掩码建模对照的迁移收益;对 EEG 缺失信号建模的价值仍属待验证假设。

来源:OpenReview · Representation learning · openreview.net