3D 点云表征学习中的掩码自编码器
Masked Autoencoders in 3D Point Cloud Representation Learning
基于摘要分析。本文研究如何将掩码自编码器扩展到不规则的 3D 点云,提出自监督表征学习方法 MAE3D,通过点云 patch 掩码与补全预训练,为下游分类提供模型初始化。主要研究对象是 3D 几何数据,并非 EEG 或 BCI。 方法首先将输入点云划分为 patches,遮蔽其中一部分,并利用 Patch Embedding Module 提取未遮蔽 patches 的特征;随后通过 patch-wise MAE3D Transformers 学习 patch 内局部特征与 patch 间高层上下文关系,补全被遮蔽 patches 的潜在表征;最后由 Point Cloud Reconstruction Module 配合多任务损失重建完整点云。摘要未给出掩码比例、损失具体形式或模型规模。 作者报告,在 ShapeNet55 上以点云补全为预训练任务,并分别在 ModelNet40 和 ScanObjectNN 的 PB_T50_RS 变体上微调后,分类 Accuracy 分别为 93.4% 和 86.2%。作者称其优于当时的先进方法,并认为局部 patch 特征有助于下游分类;具体数据划分、基线配置、消融及统计信息尚未验证,不能据此确认性能提升来自哪个模块。 平台推测(待验证):可迁移的机制假设是利用局部块特征与跨块上下文,通过掩码重建学习初始化表征。原方法依赖可划分局部区域的 3D 坐标点集及点云补全目标;若用于 EEG,需将 patch 定义改为时间窗或时空通道块,并改造嵌入、位置表示、重建模块与损失,不能直接套用点云几何结构。对应的潜在瓶颈是有限标签下的 EEG 表征学习,但低信噪比可能使重建偏向伪迹,被试差异、通道布局变化及小数据规模也可能削弱迁移收益。可检验的小实验是在固定数据划分与相同下游模型下,对比随机初始化、普通掩码重建预训练及加入局部—跨块建模的预训练,采用同一跨被试协议检验增益;这不是本文已验证的结果,相关 EEG 工作尚未检索确认。
值得核对 MAE3D 如何结合局部 patch 特征、跨 patch 上下文与多任务重建目标学习可迁移表征,但其对 EEG 掩码建模的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net