Cobra：将 Mamba 扩展为支持高效推理的多模态大语言模型

基于摘要分析。该研究针对多模态大语言模型（MLLMs）中 Transformer 骨干的二次计算复杂度问题，提出以预训练 Mamba 语言模型为骨干的 Cobra，并探索视觉与文本模态的对齐策略，以及不同预训练 Mamba 变体与视觉编码器的组合。 核心机制是利用状态空间模型进行序列建模，以替代 LLaMA、Phi 等 Transformer 语言骨干，目标是获得随序列长度线性扩展的计算特性和更快推理。摘要未披露视觉编码器类型、模态连接模块、具体对齐目标、训练数据与训练阶段，因此尚不能确定其收益分别来自骨干替换、模态对齐还是训练配置。 作者报告，在所评估的多个多模态基准上，Cobra 相较 LLaVA-Phi、MobileVLM v2 等方法实现约 3–4 倍推理速度；具体基准、硬件、精度、批大小、输入及输出长度和计时范围尚未验证。作者还报告，微调约 48% 的模型参数后，整体性能优于 LLaVA，但摘要未给出对应指标、分数及模型规模匹配条件，不能据此量化性能收益或认定不同设置可直接比较。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可供 EEG 研究参考的是“预训练序列骨干与非文本编码器对齐”的方法路径，而非已验证的脑信号解码能力。该路径依赖预训练语言模型、模态编码器及对齐数据；若迁移至 EEG—文本任务，需要替换视觉编码器并适配 EEG 的通道、采样率与时间结构。低信噪比、跨被试差异和小规模配对数据可能使对齐失效，序列计算优势也不必然转化为端到端加速。可在固定 EEG 编码器、配对数据与划分下，对照 Mamba 和 Transformer 骨干，比较同一任务指标及不同输入长度下的延迟、显存占用。相关 EEG 工作尚未检索确认。