跳到正文
OpenReview · State space models· Xuan Shen; Hangyu Zheng; Yifan Gong; Zhenglun Kong; Changdi Yang; Zheng Zhan; Yushu Wu; Xue Lin; Yanzhi Wang; Pu Zhao; Wei Niu·· 2025-01-23精选AI 评分75

面向移动端状态空间模型的稀疏学习

Sparse Learning for State Space Models on Mobile

AI 导读

基于摘要分析。本文研究选择性 State Space Models(SSMs)在资源受限移动设备上的部署问题,提出结合稀疏学习与架构感知编译优化的端到端框架,以降低计算和带宽需求,同时尽量保留选择性机制的任务性能。主要研究对象是通用序列模型的移动端压缩与加速,而非 EEG 或 BCI。 核心机制是 C₄ⁿ kernel sparsity:每四个连续权重剪除 n 个元素,并通过编译器加速支持这种稀疏模式。框架可针对不同模型规模,按目标稀疏度或延迟要求生成优化后的稀疏模型;另利用被剪除权重的信息补偿保留权重,以改善下游任务表现。摘要未说明补偿公式、剪枝训练流程或选择性机制的具体实现,这些细节尚未验证。 硬件侧提出针对 C₄ⁿ 的专门优化及布局变换消除策略,旨在缓解线性层细粒度剪枝的执行低效,并改善其他算子的性能。作者报告,其方法在所评估的下游任务中优于其他半结构化剪枝方法,并在移动设备上相较 llama.cpp 获得最高 7 倍加速。摘要未给出模型名称、任务与数据集、设备型号、精度配置、输入长度、计时范围及具体对照设置,因此不能将该最高加速解释为所有模型或设备的普遍收益;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 序列模型采用可适配的 SSM 与线性层,稀疏模式和编译优化可能用于缓解便携式 BCI 的推理延迟与内存带宽瓶颈。可复用部分是权重稀疏化、补偿及执行优化;需改造部分包括 EEG 输入接口、任务训练流程与目标设备算子支持。这一路径依赖可用的已训练模型和任务数据,低信噪比、小数据及跨被试或通道差异可能使剪枝后的性能保持更困难。一个可检验的小实验是在固定 EEG 任务划分与同一设备上,比较原模型、仅剪枝模型和剪枝加编译优化模型的任务指标、端到端延迟与峰值内存,并区分稀疏化和执行优化的贡献。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是其将细粒度稀疏学习与移动端编译优化联动的具体机制,但作者报告的最高加速仍需结合硬件、模型与计时协议核对,尚不能视为 EEG/BCI 部署收益。

来源:OpenReview · State space models · openreview.net