通过多数据集 Point Prompt Training 迈向大规模 3D 表征学习
Towards Large-Scale 3D Representation Learning with Multi-Dataset Point Prompt Training
基于摘要分析。该研究针对 3D 点云数据规模有限、直接混合多个数据集训练可能因域差异产生负迁移的问题,提出 Point Prompt Training(PPT),通过联合利用多个数据源学习共享的 3D 表征,并支持多种预训练范式。 核心机制包括:Prompt-driven Normalization 使用域专属提示,使模型适应不同数据集;Language-guided Categorical Alignment 利用标签文本之间的关系,对齐多个数据集的类别空间。前者处理数据域差异,后者处理标签体系不一致,两者共同服务于多数据集协同学习。摘要未提供提示的具体参数化、归一化实现、文本表征来源及损失形式。 作者报告,在监督式多数据集训练中,单个权重共享模型可缓解协同学习中的负迁移,并在所评估的各数据集上达到 SOTA;作为预训练框架时,其表征质量优于所比较的其他预训练方法,并在覆盖室内与室外 3D 场景的十余项下游任务中取得作者所称的 SOTA 表现。摘要未列出数据集名称、划分、具体指标和数值,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,域专属提示与标签语义对齐或有助于 EEG 多数据集训练中的采集域差异和任务标签不一致,但点云结果不构成 EEG/BCI 有效性证据。可复用的是条件化归一化和标签关系建模思路,需将点云编码器替换为 EEG 编码器,并适配通道布局及时序结构。EEG 的低信噪比、被试差异、小样本,以及标签名称相近但实验范式不同,均可能使该假设失效。可在任务标签可核对的两个 EEG 数据集上,以相同编码器比较单数据集训练、直接混合训练与引入上述模块的训练,固定被试隔离划分并检查各数据集是否出现负迁移。已有 EEG 相关工作尚未检索确认。
值得关注其以数据集专属提示调节归一化、以标签文本关系对齐异构类别空间的多数据集学习机制,但其抑制负迁移的效果及向 EEG 的适用性仍需分别验证。
来源:OpenReview · Representation learning · openreview.net