跳到正文
OpenReview · State space models· Zhibo Rao; Mingyi He; Yuchao Dai; Zhelun Shen·· 2022-12-01精选AI 评分73

用于立体匹配的滑动空间—视差 Transformer

Sliding space-disparity transformer for stereo matching

AI 导读

基于摘要分析。本文研究立体匹配中 Transformer 自注意力计算量与显存占用过高的问题,提出滑动空间—视差 Transformer(SSD-former),旨在有限硬件资源下兼顾匹配精度与推理效率。研究对象是视觉立体匹配,而非 EEG 解码或 BCI。 核心机制包括两部分:首先,在代价体中采用滑动窗口限制自注意力运算范围,以适应不同输入分辨率;其次,将当前 patch 的注意力交互限定为两类关系:同一视差层上不同空间位置的 patch,以及同一空间位置上不同视差层的 patch。该设计利用空间与视差的结构组织信息交互,避免直接进行完整的高开销注意力计算。窗口范围与两类交互的具体实现关系,仍需查阅正文确认。 作者报告,相较标准 Transformer,SSD-former 速度更快、显存占用更低;相较 3D 卷积方法,其具有更大的感受野,并保持较快速度。作者还报告在多个常用数据集上取得当时的最先进性能及更优的速度—精度权衡,但摘要未提供数据集名称、具体指标、数值或评测硬件,因此不能据此量化优势,也不能判断这些结论在何种分辨率与资源约束下成立。 复现时需核对代价体构建方式、窗口配置、注意力实现、训练设置,以及速度与显存测量条件;实验协议、消融及统计信息尚未验证。该方法依赖立体匹配特有的空间—视差结构,当前材料未建立其与 EEG 数据结构的具体对应关系,不能将视觉任务中的结果视为 BCI 有效性的证据;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 SSD-former 如何通过滑动窗口和空间—视差分解降低立体匹配代价体的注意力开销,但其速度、显存及精度优势仍需结合完整实验协议验证。

来源:OpenReview · State space models · openreview.net