面向语义对应的相关图选择性状态空间建模
Selective State-Space Modeling of Correlation Maps for Semantic Correspondence
基于摘要分析。该研究面向计算机视觉中的图像间语义对应任务,提出 MambaMatcher,通过选择性状态空间模型(SSMs)建模高维相关性,旨在缓解传统特征度量方法对图像间复杂关系建模不足,以及相关性度量方法处理 4D 相关图时计算成本较高的问题。 核心机制是将多层级相关性分数作为状态,并采用由 Mamba 线性复杂度算法改造的 similarity-aware selective scan,对 4D 相关张量进行细化。作者称,该方法无需牺牲特征图分辨率或感受野即可建模丰富的图像间关系。摘要未给出扫描顺序、选择机制的参数化方式、损失函数或训练细节,因此不能进一步确认其具体实现与整体复杂度。 作者报告,在标准语义对应基准上,MambaMatcher 达到最先进性能,且不依赖大尺寸输入图像或计算昂贵的扩散式特征提取器。摘要未列出基准名称、指标、数值、数据划分与对照设置;性能优势及计算效率仍需结合正文中的实验协议、消融、统计信息和运行成本核对,相关信息尚未验证。 平台推测(待验证):可探索的迁移路径不是直接将该方法视为 BCI 解码器,而是借鉴其对成对特征相关张量的高效建模,用于 EEG 试次或模板之间的时空对应。原方法依赖图像位置间的相关性结构;若迁移到 EEG,需要重新定义时间—通道特征、相关张量和扫描次序,并核对原方法的监督要求。可复用的候选模块是相关张量细化机制,视觉特征提取与语义对应目标则需改造。EEG 的低信噪比、跨被试差异、通道布局变化及小数据条件可能使相关性选择不稳定。 一个可检验的小实验是在固定 EEG 特征和相同数据划分下,对比未细化相关张量与选择性状态空间细化后的试次—模板对齐表现,同时记录运行时间和显存占用,检验是否存在准确性与成本的共同收益。该实验仅为迁移假设,已有 EEG 相关工作尚未检索确认。
值得关注其利用选择性状态空间模型细化高维相关张量的机制,但计算效率与性能优势目前仅有摘要层面的作者陈述,尚不能据此认定其对 EEG 对齐有效。
来源:OpenReview · State space models · openreview.net