通过双重去噪从 CLIP 学习鲁棒 3D 表征
Learning Robust 3D Representation from CLIP via Dual Denoising
基于摘要分析。本文研究能否将预训练视觉语言模型 CLIP 适配于具有对抗鲁棒性的零样本点云识别,提出一种由鲁棒 3D 预训练与并行特征去噪组成的蒸馏算法,旨在同时改善干净输入下的识别表现与受扰动输入下的鲁棒性。主要研究对象是 3D 点云,而非 EEG 或 BCI。 技术上,论文以跨模态蒸馏为背景,将点云表征与 CLIP 的多模态知识联系起来。作者认为,既有方法主要通过直接特征对齐进入共享多模态空间,未能相应改善 3D 鲁棒性;所提方法则引入上述两个组件,并声称不依赖对抗训练。摘要未披露双重去噪的具体对象、监督来源、损失形式及训练与推理流程,因此尚不能确定其鲁棒性收益来自何种约束。 结果方面,作者报告,在零样本 3D 识别基准上,相比基线模型,干净输入下表现提升 7%,受扰动输入下也有不同程度改善,并优于其他相近规模模型。但摘要未明确该 7% 对应的指标及其为相对增幅还是百分点,也未提供具体数据集、划分、攻击方式、扰动预算和基线名称,不能据此进行定量横向比较。实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设该方法的收益确实来自跨模态蒸馏中的噪声抑制,其训练思路可能为 EEG 表征学习提供参考,但不能把点云几何扰动直接等同于 EEG 伪迹或跨被试分布偏移。迁移需先确认 EEG 与教师表征之间是否存在有效的配对或语义监督,并改造输入编码和扰动定义;低信噪比、小样本及通道差异可能使对齐失效或去除任务相关信号。取得全文并明确去噪机制后,可在固定 EEG 数据划分下,对比直接蒸馏与加入去噪模块的干净及受扰动输入表现,检验收益是否成立。已有 EEG 相关工作尚未检索确认。
值得核对其鲁棒 3D 预训练与并行特征去噪如何在不依赖对抗训练的条件下兼顾零样本识别与对抗鲁棒性,但摘要不足以确认具体机制及其对 EEG 的适用性。
来源:OpenReview · Representation learning · openreview.net