跳到正文
OpenReview · Representation learning· Haowei Wang; Jiji Tang; Jiayi Ji; Xiaoshuai Sun; Rongsheng Zhang; Yiwei Ma; Minda Zhao; Lincheng Li; Tangjie Lv; Rongrong Ji·· 2023-10-27精选AI 评分76

超越第一印象:整合联合多模态线索以学习全面的 3D 表征

Beyond First Impressions: Integrating Joint Multi-modal Cues for Comprehensive 3D Representation

AI 导读

基于摘要分析。该研究面向数据稀缺条件下的 3D 点云表征学习,提出 JM3D,将点云、多视角图像与层级文本纳入统一表征,旨在减少单视角图像、粗粒度类别文本带来的信息退化,并改善分别对齐各模态时的协同不足。 机制上,Structured Multimodal Organizer(SMO)引入连续多视角图像和层级文本,以补充视觉与语言信息;Joint Multi-modal Alignment(JMA)将语言知识融入视觉模态,使 3D 表征对齐视觉—语言联合空间,而非仅独立对齐图像和文本。其主要研究对象是 3D 物体表征,而非神经信号;方法依赖点云对应的多视角图像及类别层级语义。具体损失、模态配对方式与训练流程尚未验证。 作者报告在 ModelNet40 和 ScanObjectNN 上进行了实验,并称 JM3D 达到零样本 3D 分类的当时最优表现。在 ModelNet40 零样本分类中,以 ULIP 为对照,作者报告 PointMLP 配置约提升 4.3%,PointNet++ 配置的 top-1 Accuracy 最高提升 6.5%;摘要未明确这些增幅是相对百分比还是百分点,不能进一步换算。数据划分、预训练数据、零样本类别定义、消融及统计信息尚未验证。作者称代码及实验所用训练模型已公开,具体复现条件仍需核对。 平台推测(待验证):可迁移的是“组织互补观测并进行联合语义对齐”的机制,而非现成的 3D 模型。若 EEG 任务具备同一试次的多种表征及可靠的层级任务标签,可检验联合对齐是否优于分别对齐;但 EEG 多视图不等同于物体多视角,需重设计视图组织、信号编码与语义配对。低信噪比、跨被试差异、通道缺失及小样本可能使语义先验压过真实信号。一个可证伪的小实验是在固定跨被试划分和相同编码器下,对照独立对齐与联合对齐,并打乱语义配对以检验收益来源。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 JM3D 如何以多视角、层级文本及视觉—语言联合对齐改善零样本 3D 分类;其对 EEG/BCI 的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net