跳到正文
OpenReview · Representation learning· Limeng Zhang; Zenghui Zhang; Weiwei Guo; Tao Zhang; Wenxian Yu·· 2023-01-01精选AI 评分74

3DMAE:采用垂直掩码的 SAR 与光学联合表征学习

3DMAE: Joint SAR and Optical Representation Learning With Vertical Masking

AI 导读

基于摘要分析。该研究针对合成孔径雷达(SAR)与光学遥感图像的模态差异,提出采用三维掩码(3DM)的 3DMAE,通过垂直维度的掩码设计开展联合自监督表征学习,再经微调用于下游分类。 核心动机是:面向 RGB 自然图像设计的掩码自编码器(MAE),未必适合具有显著模态差异的遥感数据。作者提出以 3DM 增强垂直维度的特征提取,但摘要未说明该维度的具体组织方式、掩码采样规则、重建目标及模态融合结构,不能据此将其等同于普通通道掩码或模态丢弃。 作者报告,在 BigEarthNet-MM 分类任务上,微调后的 3DMAE 优于所比较的对比学习与 MAE 类模型;采用垂直掩码后,输入数据量至少减少 50%。这一数据量变化不能直接等同于计算量或训练耗时下降。作者还报告,在数据分布多样的 SEN12MS 泛化实验中,F1 提升 5.9%;摘要未明确该数值是相对增幅还是百分点差值,也未给出对应基线、划分与适配协议,因此不能按跨数据集零样本结果解读。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可供 EEG 多模态研究考察的是“针对模态结构设计掩码”的思路,而非遥感分类效果本身。假设用于同步 EEG–fNIRS 数据,需要重新定义时间、通道与模态维度的对应关系,并改造重建目标;低信噪比、模态时间尺度差异、跨被试通道差异及小数据规模均可能使其失效。一个可证伪的小实验是在固定编码器、训练预算和跨被试划分下,对比随机掩码与结构化掩码,并设置 EEG 单模态对照。该实验仅用于检验迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其面向 SAR 与光学模态差异的垂直掩码设计,以及输入数据量减少时的分类与泛化表现,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net