跳到正文
OpenReview · State space models· Heng Li; Yuenan Hou; Xiaohan Xing; Xiao Sun; Yanyong Zhang·· 2024-01-01精选AI 评分74

OccMamba:基于状态空间模型的语义占用预测

OccMamba: Semantic Occupancy Prediction with State Space Models

AI 导读

基于摘要分析。OccMamba 面向驾驶场景中的三维语义占用预测,针对占用单元数量大、遮挡严重、视觉线索有限及 transformer 计算成本高等问题,引入 Mamba 的全局建模机制,并设计三维到一维的重排序操作,以适配空间数据结构。 核心机制:作者指出,直接将 Mamba 用于占用预测效果不理想,并将其归因于语言领域与三维领域之间的差异。为此,提出 height-prioritized 2D Hilbert expansion(高度优先的二维 Hilbert 展开),旨在将三维数据转换为适合 Mamba 处理的序列,同时尽可能保留点云空间结构。作者称其为首个基于 Mamba 的语义占用预测网络;这一优先性声明尚未独立核实。摘要强调 Mamba 的线性计算复杂度,但未提供 OccMamba 整体的运行时间、显存或部署测量。 结果与证据范围:作者报告,OccMamba 在 OpenOccupancy、SemanticKITTI 和 SemanticPOSS 三个占用预测基准上取得当时的最优表现;其中在 OpenOccupancy 上,相比 Co-Occ,IoU 和 mIoU 分别提高 3.1% 和 3.2%(保留原文记法,摘要未明确相对百分比与百分点的区别)。具体输入配置、数据划分、对照设置、消融及统计信息尚未验证,不能据此判断增益是否主要来自重排序。摘要称代码将在发表后发布,当前材料不支持确认代码已公开或论文已正式发表。 平台推测(待验证):其潜在可迁移机制是通过空间感知排序减轻多维结构展平时的信息损失,而非占用预测任务本身。假设 EEG 电极空间邻近关系有助于跨通道建模,可复用“空间排序后交由 Mamba 处理”的思路,但须将三维点云排序改造为适配电极坐标与时间轴的序列组织。低信噪比、通道缺失、跨被试电极布局差异及小数据训练都可能削弱收益。可在固定 EEG 数据划分、模型与训练预算下,对照原始通道顺序和空间感知排序,检验任务指标及通道缺失时的稳定性;这是待证伪假设,不是已验证的 BCI 效果。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其针对三维空间结构设计的 Mamba 序列化操作,并核对性能增益与计算成本;该机制对 EEG 通道空间建模的价值尚未验证。

来源:OpenReview · State space models · openreview.net