DefFusion:用于3D语义分割的可变形多模态表征融合
DefFusion: Deformable Multimodal Representation Fusion for 3D Semantic Segmentation
基于摘要分析。本文研究相机与LiDAR数据融合的3D语义分割,提出DefFusion,通过可变形跨模态注意力和动态表征处理,缓解作者所称的过度注意力(over-attention)与不同模态数据中的噪声问题。原研究对象是2D视觉表征与3D点云表征,而非EEG或BCI。 核心机制是Deformable Representation Fusion Transformer:针对给定的3D query,自适应构建2D key/value集合,以提高融合灵活性,并避免过度注意力、改善效率。另一组件通过Dynamic Grouped Representation Generation与Dynamic Mask Generation动态去除输入表征中的噪声,增强2D与3D表征。摘要对该组件分别使用Dynamic Representation Augmentation Modules与Dynamic Representation Enhancement Module,具体命名及结构需查阅正文确认;可变形采样方式、动态掩码生成过程、损失与训练配置尚未验证。 作者报告,模型在SemanticKITTI与NuScenes的3D语义分割评估中取得最佳表现;摘要未给出具体指标、数值、划分、对照方法及计算开销,因此尚不能核对提升幅度、效率收益或不同协议下的可比性。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可供EEG多模态融合借鉴的是选择性跨模态交互与动态噪声抑制,而不是直接复用3D分割框架。迁移假设依赖具有可用对应关系的同步多模态数据;若用于EEG与另一同步模态,需把2D—3D空间查询关系改造成时间或事件对应关系,并重新设计采样位置与掩码。EEG低信噪比、跨被试差异、通道配置变化及小数据可能导致动态选择不稳定,或误删任务相关信号。可检验的小实验是在固定跨被试划分与相同骨干下,对照完整跨模态注意力、可变形选择及加入动态掩码的版本,比较同一任务指标与噪声扰动下的稳定性。相关EEG工作尚未检索确认。
值得关注其以3D query自适应选择2D key/value并结合动态掩码抑制模态噪声的融合机制,但摘要中的性能与效率主张仍需结合完整实验协议核对,尚无EEG/BCI有效性证据。
来源:OpenReview · Representation learning · openreview.net