利用对抗样本的 3D 形状对比表示学习
3D Shape Contrastive Representation Learning With Adversarial Examples
基于摘要分析。本文研究如何在不使用真实标签的情况下学习 3D 形状表示,提出将对抗机制驱动的关键点搜索与跨层对比学习结合,以引导模型关注对全局表示影响较大的信息。研究对象是 3D 形状,而非 EEG 或 BCI。 方法先攻击预训练 auto-encoder,找出对全局特征影响较大的关键点,再对这些点实施数据增强,生成成对的对抗样本。模型提取样本的中间嵌入与全局表示,并通过两个 predictor heads 映射到潜在空间;训练结合 Normalized Temperature-scaled Cross Entropy(NT-Xent)与新设计的 Cross-layer Normalized Temperature-scaled Cross Entropy(Cross-NT-Xent)损失,后者用于约束跨层特征相似性。摘要未给出攻击约束、增强策略、损失公式及各项权重,具体实现尚未验证。 作者报告,在三个基准数据集上的物体分类、少样本分类和形状检索任务中,所学表示取得优于或可比于当前先进方法的表现,并据此评估有效性、鲁棒性和迁移能力;摘要未提供数据集名称、划分、指标、数值及具体对照,无法判断收益幅度。作者还称模型可扩展到 3D 部件分割和场景分割,但摘要未交代相应验证细节。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,对表示敏感的位置进行定向增强,并约束中间层与全局表示的一致性,可能有助于 EEG 自监督学习。但原方法依赖 3D 点结构及预训练 auto-encoder,迁移时需将关键点搜索改造为时间片段、通道或时频区域选择,并重新设计符合信号语义的扰动。低信噪比下的敏感位置可能对应伪迹,跨被试和通道差异也可能使这种选择不稳定,小数据则可能限制预训练表示质量。可在固定跨被试划分和相同编码器下,对照随机增强与敏感区域增强,并分别加入或移除跨层约束,检验收益是否稳定;已有 EEG 相关工作尚未检索确认。
值得核对其基于预训练 auto-encoder 的关键点搜索与跨层对比约束能否分别带来表示收益;摘要提供了明确机制,但具体增益、实验协议及其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net