AIRE-Prune:基于渐近脉冲响应能量的状态空间模型状态剪枝
AIRE-Prune: Asymptotic Impulse-Response Energy for State Pruning in State Space Models
基于摘要分析。本文研究大状态维度带来的 SSM 内存与计算成本,提出训练后结构化剪枝方法 AIRE-Prune,通过直接最小化长期输出能量失真来缩减各层状态维度,而非为降低成本预先牺牲模型容量、搜索空间或稳定性。 核心机制是为每个状态计算闭式的渐近脉冲响应能量评分,即该状态在无限时间范围内贡献的总脉冲响应能量,再按层归一化,使不同层的状态能够参与全局比较与选择。该方法将单系统中的模态截断扩展到深层堆叠 SSM,以渐近响应能量而非最坏情况增益作为剪枝依据。具体评分公式、归一化方式、适用条件及剪枝后稳定性尚需全文核对。 作者报告,在多种序列基准上的 SISO(单输入单输出)和 MIMO(多输入多输出)SSM 中,平均剪枝比例为 60.8%,无需重训练时平均准确率下降为 0.29%,并显著降低计算量。摘要未列出具体基准、数据划分、对照方法或计算量降幅;0.29% 沿用原文表达,其指相对百分比还是百分点尚未验证。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 序列模型采用可计算上述能量评分的 SSM,状态级剪枝可能用于降低推理成本;可复用评分与全局选择机制,但需核对实际模型参数化、输入输出映射及有限时间窗是否满足方法条件。假设风险在于:低能量状态仍可能携带关键判别信息,低信噪比、跨被试或通道变化也可能削弱渐近能量与任务贡献之间的对应关系。一个可检验的小实验是在固定跨被试划分下,对已训练的 EEG SSM 进行无需重训练的 AIRE-Prune,与相同剪枝比例的随机状态剪枝比较,分别记录输出失真、Accuracy、推理时延与内存占用。已有 EEG 相关工作尚未检索确认,该实验仅是迁移假设,不代表已证实的 BCI 效果。
值得核对其闭式状态能量评分能否在深层 SSM 中可靠指导无需重训练的结构化剪枝,尤其是渐近响应能量与实际任务性能损失之间的关系;EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net