跳到正文
OpenReview · Representation learning· Yue Dai; Yifan Feng; Nan Ma; Xibin Zhao; Yue Gao·· 2025-01-01精选AI 评分72

基于异构动态图表示的跨模态 3D 形状检索

Cross-Modal 3D Shape Retrieval via Heterogeneous Dynamic Graph Representation

AI 导读

基于摘要分析。本文研究跨模态 3D 形状检索,提出 Heterogeneous Dynamic Graph Representation(HDGR)网络,通过不同 3D 对象之间的上下文关系增强实例表示,以缓解单模态特征提取瓶颈及模态差异;研究对象并非 EEG 或 BCI。 机制上,HDGR 随 mini-batch 的变化构建动态图,捕获邻近对象间的模态内关系,并用动态二部图表示隐式跨模态关系。随后分别通过 Dynamic Graph Convolution(DGConv)和 Dynamic Bipartite Graph Convolution(DBConv)进行消息传递与聚合,再对模态内、跨模态及自变换特征进行重新分配和融合,形成异构动态表示。其核心思路是让检索特征依赖对象间关系,而不只依赖孤立实例;具体邻接规则、监督要求、损失形式及推理阶段如何取得上下文尚未验证。 作者报告,在 ModelNet10、ModelNet40 和真实世界 ABO 数据集的跨模态及模态内检索任务中,HDGR 达到其所比较方法中的最先进表现;另在 3D MNIST 的标签噪声条件下,结合鲁棒损失取得良好的跨模态检索表现。摘要未提供具体指标、数据划分、对照基线、噪声比例或计算开销,实验协议、消融及统计信息尚未验证,不能据此量化提升或独立确认效率优势。 平台推测(待验证):若具有配对或可对齐的 EEG 与另一模态样本,动态模态内图和跨模态二部图可能为跨模态表示对齐提供候选机制。可复用的是关系建模与消息传递模块,需改造各模态编码器、相似度定义及批采样方式。EEG 低信噪比、跨被试差异、通道配置变化及小样本条件可能使邻接关系不稳定,批内上下文依赖也可能影响部署一致性。一个可证伪的小实验是在固定跨被试划分、编码器与训练预算下,比较无图、静态图和动态图方案,并检验批组成变化时的检索表现与稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是利用批内动态关系联合建模模态内与跨模态结构的机制,但其对 EEG 跨模态表征的适用性尚未验证,需先核对图构建、推理上下文与标签噪声评估协议。

来源:OpenReview · Representation learning · openreview.net