μVLM:面向 μNPU 的视觉语言模型
μVLM: A Vision Language Model for μNPUs
μVLM 针对低功耗 μNPU 上视觉语言模型部署受到内存容量与算子支持限制的问题,提出轻量化编码器—解码器架构,并结合协同量化和手工优化算子实现端侧推理。基于摘要分析,未取得论文全文;其主要研究对象是视觉语言模型的受限硬件部署,而非 EEG 解码或 BCI。 架构由 OverMod 编码器与 AttSSM 解码器组成。OverMod 是受仿生视觉启发的轻量动态卷积网络,通过 Global Spatial Modulation 实现自适应特征提取,作者称其仅使用 NPU 友好算子。AttSSM 以 State Space Model(SSM)为核心,结合多尺度特征融合与 Global Context Dynamic Modulation 进行序列建模。摘要未提供这些调制机制的公式、训练目标或具体实现,不能进一步判断其与已有动态卷积和 SSM 方法的差异。 部署方面,作者提出协同全参数量化策略,以保持编码器—解码器边界处的精度,并为 SSM 等不受硬件支持的模块提供手工优化算子。作者报告,在 COCO Karpathy test split 上获得 CIDEr 117.8,并在 μNPU 平台实现毫秒级 VLM 推理。摘要未给出对照模型、硬件型号、内存占用、量化位宽、输入与输出长度及延迟计时方式,因此该质量与速度结果的适用范围尚待核对。作者关于首个面向 μNPU 的轻量 VLM 架构及首次毫秒级推理的表述,也尚未独立验证。 平台推测(待验证):跨模块量化与硬件算子适配可能为资源受限的 EEG 端侧模型提供工程参考,但这是部署层面的假设,不是视觉建模机制对 EEG 有效的证据。迁移需要重新处理多通道时序输入,并验证低信噪比、小数据及被试差异条件下的量化精度;目前不据此提出 BCI 算法复现实验。已有 EEG 相关工作尚未检索确认,实验协议、消融及统计信息尚未验证。
值得核对其编码器—解码器协同量化与不受 μNPU 支持的 SSM 算子实现,以评估受限硬件上的生成模型部署方案;摘要中的毫秒级推理尚缺具体硬件与计时协议,不能据此认定 BCI 部署价值。
来源:OpenReview · State space models · openreview.net