跳到正文
OpenReview · Representation learning· Xiaoyang Wu; Xin Wen; Xihui Liu; Hengshuang Zhao·· 2023-01-01精选AI 评分79

Masked Scene Contrast:面向无监督 3D 表征学习的可扩展框架

Masked Scene Contrast: A Scalable Framework for Unsupervised 3D Representation Learning

AI 导读

基于摘要分析。本文研究无监督 3D 表征学习中的视图匹配效率与模式坍塌问题,提出 Masked Scene Contrast(MSC),在场景级点云上构造对比视图,并将对比学习与掩码重建结合,以支持更高效、可扩展的 3D 预训练;原始研究对象并非 EEG 或 BCI。 机制上,MSC 不再依赖原始 RGB-D 帧之间的匹配来生成对比视图,而是通过数据增强流程和视图混合策略直接处理场景级点云。在此基础上,作者引入 contrastive cross masks,以点颜色和 surfel normal(面元法向量)为重建目标,将几何与外观信息的重建监督纳入对比学习框架。具体掩码构造、损失形式及权重尚未验证。 作者报告,相较既有工作,MSC 的预训练过程至少加速 3 倍,同时保持性能;摘要未给出该比较的硬件、数据规模及具体基线配置,因此不能将此加速直接推广到其他条件。作者还报告,跨多个数据集进行大规模 3D 预训练可进一步改善下游微调结果,其中 ScanNet 语义分割验证集达到 75.5% mIoU;其余任务、数据划分、消融及统计信息尚未验证。 平台推测(待验证):可供 EEG 方法设计借鉴的是“对比视图构造与掩码重建联合训练”,而非点云颜色或法向量目标。假设其能改善 EEG 表征,可保留联合训练思路,但需将输入、增强和重建目标改造成适合多通道时间序列的形式。点云空间结构与 EEG 通道—时间结构并不等价,低信噪比、跨被试差异、通道变化和小数据规模可能使增强破坏任务信息,或使重建偏向噪声。一个可检验的小实验是在固定数据及按被试隔离的划分下,比较仅对比学习与加入掩码重建的版本,并保持编码器和训练预算一致。该假设不代表 MSC 已取得 EEG 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过场景级视图构造与掩码重建联合改善 3D 自监督预训练效率的机制,但加速比较的具体条件及其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net