跳到正文
OpenReview · Representation learning· Chao Sun; Zhedong Zheng; Xiaohan Wang; Mingliang Xu; Yi Yang·· 2023-01-01精选AI 评分75

通过分离混合形状进行自监督点云表征学习

Self-Supervised Point Cloud Representation Learning via Separating Mixed Shapes

AI 导读

基于摘要分析。本文针对三维点云标注成本高、可用数据规模有限的问题,提出自监督方法 Mixing and Disentangling(MD):混合两个输入形状,再要求模型从混合形状中恢复原始输入,以此学习可用于下游任务的点云表征。研究对象是三维点云,并非 EEG 或 BCI。 方法以分离重建作为预训练目标,基线网络由编码器和解码器组成。编码器从混合点云中提取几何感知表征,instance-adaptive decoder 据此恢复两个原始形状。作者认为,在线混合可扩大训练样本组合池,而分离过程可促使模型学习关键点等几何先验;这不等同于增加独立采集的数据量。摘要未披露混合规则、重建损失及实例自适应机制的具体实现。 作者报告,在 ModelNet-40 和 ShapeNet-Part 的点云分类与分割任务中,预训练编码器优于从头训练的编码器,并能捕捉未见点云的关键点;摘要还提及组件消融和不同骨干网络上的验证,但未给出具体指标、提升幅度或实验划分。实验协议、消融结果及统计信息尚未验证,复现仍需核对预训练数据、下游微调设置及解码器实现。 平台推测(待验证):其可迁移假设是利用可控混合与源分离构造自监督任务,而非直接复用点云几何先验。原方法依赖点集结构、原始形状提供的重建目标及在线配对;对应 EEG 时,可考察这一思路能否缓解标注有限条件下的表征学习瓶颈,但需将几何编码和解码改为适配通道—时间结构的模块。低信噪比、跨被试差异、通道不一致及小数据下的重复配对,可能使模型只学到混合伪迹或难以辨识源信号。一个可证伪的小实验是在固定数据划分与骨干网络下,用训练集 EEG 片段构造可控混合,比较分离重建预训练与从头训练的下游表现;若增益不能稳定复现,则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是将形状混合与实例分离重建结合为自监督预训练任务,作者报告其在点云分类与分割中优于从头训练;该机制能否适用于 EEG 尚未验证。

来源:OpenReview · Representation learning · openreview.net