跳到正文
OpenReview · State space models·· 23 天前精选AI 评分77

融合之前先建立几何:用于事件–帧立体视觉的事件优先状态空间建模

Geometry Before Fusion: Event-First State-Space Modeling for Event-Frame Stereo

AI 导读

基于摘要分析。该研究面向事件–帧立体视觉:事件相机在快速运动和极端光照下仍可提供信息,但数据稀疏;帧相机提供稠密外观,却可能在这些条件下失效。作者提出先仅用双目事件估计视差,建立几何参考,再引入单帧图像进行可靠性加权细化,避免不可靠外观过早影响对应关系。 核心机制是将匹配与多模态细化分阶段处理:首先通过状态空间架构完成纯事件立体视差估计,再依据事件立体一致性生成可靠性度量,用于控制帧信息的参与。摘要未提供状态空间模型的具体结构、事件表示方式、可靠性计算公式、损失函数或训练流程,这些尚未验证。 作者报告,在 DSEC 上,该方法在使用至多一个帧相机的方法中精度最高,并接近使用两个帧相机的对称方法;其纯事件变体也优于此前的纯事件方法。作者还报告模型可零样本泛化至 MVSEC 和 M3ED。摘要未给出具体指标、数值、数据划分及基线配置,因此不能量化优势或判断不同配置的可比性。关于融合时机,作者报告消融中在匹配前引入帧信息会使精度低于纯事件模型;完整实验协议、其他消融及统计信息尚未验证。 平台推测(待验证):其可借鉴之处是先由较可靠模态建立任务参考,再控制辅助模态的融合,而不是将立体几何直接移植到 EEG。假设同步 EEG 与辅助模态任务中存在独立可计算的可靠性信号,可复用分阶段推理及可靠性门控思路,但需重构事件编码、视差目标和立体一致性度量。EEG 的低信噪比、跨被试差异及小样本可能使初始参考或门控失准。一个可证伪的小实验是在固定跨被试划分下,对比 EEG 单模态、早期融合和可靠性加权后期融合,并对辅助模态加入受控扰动,检验后者能否减少性能退化。相关 EEG 工作尚未检索确认,该实验仅为迁移假设,不是原论文结果。

阅读价值

值得核对其“先建立几何参考、再按可靠性融合外观”的设计及融合时机消融;作者报告提前引入帧会使精度低于纯事件模型,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net