跳到正文
OpenReview · State space models· Gokul Raju Govinda Raju; Nikola Zubic; Marco Cannici; Davide Scaramuzza·· 2025-12-31精选AI 评分75

用于事件相机光流估计的扰动状态空间特征编码器

Perturbed State Space Feature Encoders for Optical Flow with Event Cameras

AI 导读

基于摘要分析。该研究面向事件相机的多帧光流估计,针对现有神经网络在时间与空间推理方面的局限,提出 Perturbed State Space Feature Encoders(P-SSE)。核心贡献是在状态空间模型(SSM)的状态动力学矩阵上施加扰动,并结合双向光流与循环连接扩展预测的时间上下文。 机制方面,P-SSE 自适应处理时空特征,旨在获得类似 Transformer 方法的大感受野,同时保持 SSM 的线性计算复杂度。作者将模型稳定性与性能改善的关键归因于状态动力学矩阵扰动。摘要未给出扰动的具体形式、施加时机、参数约束或稳定性分析,因此尚不能判断其作用属于训练正则化、动力学约束还是其他机制;复杂度所对应的输入维度与实际运行成本也需核对正文。 结果方面,作者报告在 DSEC-Flow 和 MVSEC 的光流评估中,EPE 性能分别改善 8.48% 和 11.86%。摘要未明确这些相对改善所对应的基线、数据划分、输入窗口或 EPE 绝对值,不能据此进行跨协议比较。作者声称达到领先性能,但实验协议、消融及统计信息尚未验证,尤其需区分扰动机制与双向光流、循环连接各自的贡献。 平台推测(待验证):可迁移假设是,状态动力学扰动可能帮助长序列 EEG 编码器稳定地保留时间信息;这一假设不等于已证实的 BCI 效果。原方法依赖事件相机的时空运动信息与光流任务,迁移时可考虑复用 SSM 编码与扰动机制,但需改造 EEG 通道表示及任务输出,光流模块不宜直接照搬。低信噪比、跨被试差异和小数据条件可能使扰动破坏有效信号或增加优化波动。可检验的小实验是在固定 EEG 数据划分、训练预算与骨干结构下,仅比较有无状态矩阵扰动,并分别报告被试内与跨被试结果及多次运行波动。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对状态动力学矩阵扰动如何改善 SSM 的稳定性,以及该机制在多帧事件相机光流估计中的独立贡献;摘要中的性能提升仍需结合对照基线与评估协议验证。

来源:OpenReview · State space models · openreview.net