跳到正文
OpenReview · State space models· Hongyu Ke; Jack Morris; Kentaro Oguchi; Xiaofei Cao; Yongkang Liu; Haoxin Wang; Yi Ding·· 2025-01-01精选AI 评分71

MamBEV:使状态空间模型学习鸟瞰视角表征

MamBEV: Enabling State Space Models to Learn Birds-Eye-View Representations

AI 导读

基于摘要分析。本文研究自动驾驶与辅助驾驶中的多摄像头图像三维视觉感知,提出基于 Mamba 的 MamBEV 框架,通过线性时空 SSM-based attention 学习统一的鸟瞰视角(Bird's Eye View,BEV)表征,以支持多种三维感知任务并提高计算与内存效率。 核心机制是使用状态空间模型处理时空信息,并引入 SSM-based cross-attention,使 BEV 查询表征与相关图像特征交互。其作用类似标准 cross-attention,但摘要未说明查询与图像特征如何组织、状态如何更新,以及多摄像头几何信息如何进入该机制;网络结构、损失、训练与推理细节尚未验证。 作者报告,多项视觉感知指标上的实验显示 MamBEV 具有有潜力的性能,相较现有基准模型在输入规模扩展效率方面具有优势。摘要未提供数据集、具体任务组合、划分协议、基线名称、指标数值或运行硬件,因此不能量化其收益,也不能据此认定其达到 SOTA。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可供 EEG/BCI 方法研究参考的是以 SSM 实现查询与序列特征交互的思路,而非 BEV 表征本身。假设该机制能够脱离多摄像头几何结构,可探索用任务查询聚合多通道 EEG 时序特征,以应对长序列计算开销。可复用候选是 SSM 时序处理与查询交互模块;需改造输入编码、通道位置表示及任务输出。低信噪比、通道配置变化、跨被试差异与小数据训练均可能使视觉领域的优势失效。一个可检验的小实验是在固定 EEG 数据划分和训练预算下,对比 SSM-based cross-attention 与标准 cross-attention,同时测量任务指标、显存和序列长度扩展时的耗时。此迁移仅为假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以 SSM-based cross-attention 连接 BEV 查询与图像特征的机制及输入规模扩展效率,但具体性能、效率对照与 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net