跳到正文
OpenReview · State space models·· 27 天前精选AI 评分76

预训练 Mamba 视觉骨干可出现时间尺度库塌缩:采用 SpanInit 的 checkpoint 感知状态扩展

Pretrained Mamba-Based Vision Backbones Can Exhibit Collapsed Timescale Banks: Checkpoint-Aware State Expansion with SpanInit

AI 导读

基于摘要分析。该研究关注预训练 Mamba 视觉骨干扩展递归状态时,新增状态维度的衰减时间尺度应如何初始化,提出根据 checkpoint 中既有时间尺度分布进行诊断,并以 SpanInit 调整初始化。其主要研究对象是视觉模型的参数高效状态扩展,而非 EEG 或 BCI。 机制上,已有方法 Additional-scan 复制状态矩阵 A 的预训练条目,使新增状态从该通道已有的衰减尺度开始。作者指出,通道内时间尺度的比值仅由 A 决定,因此无需数据或前向传播即可从 checkpoint 读取时间尺度库的相对跨度。作者报告,在所检查的已发布 Mamba 视觉 checkpoint 中,仅使用 ImageNet-1k 预训练且每通道包含多个状态维度的模型,其时间尺度库接近塌缩;接触过 ImageNet-21k 的模型则具有明显更宽的跨度。这是对所检查 checkpoint 的观察,不能据此单独确立预训练数据与跨度之间的因果关系。 SpanInit 在对数时间尺度空间中,填充扫描相关范围 [1,L] 内最大的未覆盖间隙。它仅改变初始 A 值,通过一次校准前向传播确定绝对时间尺度,不增加可训练参数或推理成本;L 的具体定义及校准数据使用方式尚需核对正文。作者报告,在 VTAB-1k 上,SpanInit 相对 Additional-scan 改善了 ImageNet-21k 预训练的 MambaVision-B/L checkpoint 的表现,却降低了同架构仅经 ImageNet-1k 预训练的 checkpoint 的表现。摘要未提供具体分数,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将此机制用于 Mamba 类 EEG 模型,可检验其时间尺度分布是否限制长短时依赖的表征;但视觉扫描长度与 EEG 采样时间并不等价,需要改造校准范围与时间单位映射,低信噪比、通道差异及小数据可能使新增尺度无益或不稳定。一个小规模可证伪实验是固定同一 EEG checkpoint、数据划分和训练预算,对照复制初始化与 SpanInit,同时记录时间尺度跨度及下游指标,检验收益是否随原有跨度变化。相关 EEG 工作尚未检索确认,原视觉结果不构成 BCI 有效性的证据。

阅读价值

值得核对其从 checkpoint 直接诊断时间尺度分布的方法,以及 SpanInit 在不同预训练 checkpoint 上产生相反效果的条件;这为状态扩展初始化提供了具体的适用边界,而非普遍增益结论。

来源:OpenReview · State space models · openreview.net