发挥选择性状态空间模型在视觉语言模型中的潜力

基于摘要分析。本文研究多模态大语言模型（MLLM）的计算开销问题，提出 MambaVLM：不只是用 Mamba 替换语言模型，而是结合选择性状态空间模型的线性复杂度与扫描机制，联合设计视觉长序列输入和跨模态架构，以改善视觉感知及视觉—语言对齐。 核心机制包括两部分：利用 Mamba 的线性复杂度构建视觉长序列，保留更充分的视觉信息；提出 cross-stitch scanning，在扫描过程中同时捕获并融合空间与语义属性，增强视觉信息交互。其创新主张是让输入组织方式与扫描机制相互配合，而非直接替换 Transformer。摘要还称该框架兼容 Vicuna 等 Transformer 语言模型，但具体连接方式、训练目标和推理实现尚未验证。 作者报告，在多个未具名基准上，MambaVLM 使用 0.66M 数据、在单个 A800 节点训练 14 小时后，优于 LLaVA-1.5，并达到或超过使用 1.4B 数据训练的 Qwen-VL。摘要未明确数据计量口径、节点 GPU 数量、评测指标、具体分数或对照训练设置，因此这些数字只能作为作者报告的训练条件与比较结论，不能据此计算公平的效率优势。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，长序列处理与结构化扫描可能缓解 EEG 长时序建模开销，并帮助组织时间—通道信息；这并非论文已验证的 BCI 贡献。原方法依赖视觉序列的空间与语义结构，迁移时需重新定义 EEG 的序列化、通道邻接和监督目标，不能直接照搬视觉扫描顺序。低信噪比、跨被试差异、通道配置变化及小数据训练可能使扫描优势失效。一个可证伪的小实验是：在固定 EEG 数据划分、参数预算和训练条件下，对比普通时间扫描与时间—通道结构化扫描，同时测量任务指标、显存和推理耗时。已有 EEG 相关工作尚未检索确认。