OmniMamba：基于状态空间模型的高效统一多模态理解与生成

基于摘要分析。该研究面向多模态理解与文本、图像统一生成，针对现有模型的二次计算复杂度和大规模训练数据依赖，提出基于 Mamba-2 的 OmniMamba，以统一的下一 token 预测范式生成文本与图像。作者将其称为首个基于线性架构的多模态生成模型，这一优先性主张尚未独立核验。 机制上，模型利用 Mamba-2 的计算与内存效率，并采用解耦词表引导不同模态的生成、任务专用 LoRA 实现参数高效适配，以及解耦的两阶段训练策略缓解两个任务之间的数据不平衡。摘要未提供图像 token 化方式、词表如何解耦、LoRA 的插入位置及两个训练阶段的具体配置，相关实现尚未验证。 作者报告，在使用 2M 图文对训练的条件下，OmniMamba 在所评估基准上取得与 JanusFlow 有竞争力的表现，并超过 Show-o；作者称其训练图文对数量比 Show-o 少 1,000 倍。摘要未列出基准名称、任务指标、数据划分或基线训练条件，不能据此认定所有任务均有提升。作者还报告，相较于 Transformer 类对照模型，长序列生成最高加速 119.2 倍，GPU 显存占用降低 63%；具体序列长度、硬件、批量大小和对照配置尚未验证。摘要提供了代码与模型发布地址，但可复现性仍需核查实现及训练配置。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其线性架构和任务专用适配机制可能为长时 EEG 序列与文本描述的联合建模提供参考，但这是假设，原研究的监督数据是图文对，并非神经信号。可考虑复用 Mamba-2 与 LoRA，EEG 则需另行设计时序编码、通道表示和预测目标；低信噪比、跨被试差异、通道变化及小数据规模可能使图文场景中的优势无法迁移。一个可检验的小实验是在固定 EEG 数据划分与训练预算下，对比 Mamba-2 与 Transformer 编码器，并比较共享与任务专用 LoRA 的任务表现、延迟及显存占用。已有 EEG 相关工作尚未检索确认。