跳到正文
OpenReview · State space models· Chunyu Liu; Shijie Li; Xulei Yang; Jianjun Yu·· 2024-09-24AI 评分69

MS³M:用于运动预测的多阶段状态空间模型

MS$^3$M: Multi-Stage State Space Model for Motion Forecasting

AI 导读

基于摘要分析。该研究针对自动驾驶中的运动预测:根据智能体周围环境预测未来轨迹,并缓解 Transformer 在长序列、多智能体场景中的计算开销。作者提出 Multi-Stage State Space Model(MS³M),以 Mamba 分别建模时间信息与空间交互,并引入分层查询式解码器,旨在兼顾预测精度与推理效率。 机制方面,Temporal Mamba Model(TMM)负责捕获细粒度时间信息,Spatial Mamba Model 负责处理空间交互。作者将性能改善归因于 Mamba 状态空间结构所引入的时间、空间归纳偏置,并强调卷积计算与近线性计算策略的效率优势。摘要还指出,Transformer 通常依赖位置编码表达时空关系;但 MS³M 如何组织输入、注入归纳偏置,以及分层查询式解码器的查询构造与层级流程,均尚未验证。 作者报告,该方法在运动预测实验中取得更优性能并保持低延迟,但摘要未提供数据集、划分协议、对照基线、预测指标、延迟数值或硬件条件,因此尚不能量化精度—效率收益,也不能直接与其他协议下的结果比较。实验协议、消融及统计信息尚未验证;复现还需核对损失函数、训练配置、智能体与时间序列组织方式,以及代码可用性。 平台推测(待验证):迁移假设是,将时间动态与空间交互分开建模,可能适用于 EEG 的时间依赖和通道关系建模;但原问题依赖多智能体轨迹及环境信息,其监督形式与训练规模尚未明确,不等同于 EEG 分类或解码。可考虑复用时间状态空间模块;空间模块需适配电极布局、通道顺序与缺失通道,轨迹查询解码器则需按目标任务改造。低信噪比、跨被试差异及小样本可能使这种分阶段建模失效。一个可检验的小实验是在固定 EEG 划分、参数预算与训练设置下,对比仅时间模块和时间—空间组合模块,并通过通道顺序扰动检验空间建模的收益与敏感性。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net