UST-SSM:用于点云视频建模的统一时空状态空间模型
UST-SSM: Unified Spatio-Temporal State Space Models for Point Cloud Video Modeling
基于摘要分析。本文研究动态三维点云视频建模,针对无序点云按时间展开为一维序列后,单向 Selective State Space Models(SSMs)难以有效建模时空关系的问题,提出 UST-SSM。其贡献是结合语义感知扫描、时空结构聚合和时间交互采样,改善序列化后的空间与运动信息表达;原论文并非 EEG 或 BCI 研究。 核心机制包括三个模块:Spatial-Temporal Selection Scanning(STSS)通过 prompt-guided clustering 将无序点重组为语义感知序列,使空间和时间上相距较远但相似的点能够被有效利用;Spatio-Temporal Structure Aggregation(STSA)聚合时空特征,补偿缺失的四维几何与运动细节;Temporal Interaction Sampling(TIS)利用非锚帧并扩展感受野,增强采样序列中的细粒度时间依赖。摘要未说明 prompt 的来源、聚类实现、损失函数或完整训练与推理配置,这些内容尚未验证。 作者报告在 MSR-Action3D、NTU RGB+D 和 Synthia 4D 上的实验支持方法有效性,但摘要没有提供任务划分、指标数值、对照基线及统计结果,不能据此判断提升幅度或不同协议下的相对表现。实验协议、消融及统计信息尚未验证。材料提供了代码仓库,具体复现配置与代码完整性仍需核对。 平台推测(待验证):可检验的迁移假设是,将 EEG 的通道—时间片段视为带空间位置的序列元素,以类似 STSS 的相似性重排改善跨通道、跨时间依赖建模。原方法依赖点云几何与语义聚类,不能直接等同于 EEG 的电极拓扑和信号相似性;需改造聚类依据、位置编码及结构聚合。低信噪比可能使重排由噪声主导,被试差异、通道配置变化和小数据规模也可能使聚类不稳定。一个小规模可证伪实验是在固定 EEG 数据划分和相同训练预算下,对照时间顺序 SSM、相似性重排 SSM 与随机重排 SSM,检查收益是否确实来自有意义的重排。相关 EEG 工作尚未检索确认。
值得核对其通过语义重排、时空结构聚合与时间采样缓解点云序列化信息损失的机制,但摘要尚不足以判断各模块的独立贡献或 EEG 迁移价值。
来源:OpenReview · State space models · openreview.net