跳到正文
OpenReview · State space models· Jaeheun Jung; Donghun Lee·· 2025-01-01精选AI 评分77

Catalyst:通过参数空间辅助扩展实现结构化剪枝的新型正则化器

Catalyst: a Novel Regularizer for Structured Pruning with Auxiliary Extension of Parameter Space

AI 导读

基于摘要分析。本文研究深度神经网络的结构化剪枝,通过移除完整滤波器或通道降低模型规模与计算成本,提出在辅助扩展参数空间中定义的 Catalyst 正则化器,旨在缓解传统剪枝对参数幅值的偏置及剪枝决策对微小扰动的敏感性。 作者指出,L1、Group Lasso 及其变体通常更容易剪除幅值较小的滤波器,且保留与剪除滤波器在决策边界附近可能缺乏足够间隔。方法从剪枝操作保持模型性能的代数条件出发,引入辅助 catalyst 变量构造正则化器。作者声称,该机制在理论上对滤波器幅值具有零偏置,并使保留与剪除滤波器的幅值形成宽间隔分化,从而提高剪枝决策的稳健性。具体代数条件、正则项形式、辅助变量更新方式及理论假设尚未验证。 作者报告,Catalyst Pruning 在多个数据集和模型上的剪枝结果优于所比较的先进滤波器剪枝方法,并呈现与理论预测一致的稳健性和公平性特征;这里的公平性指不同幅值滤波器获得剪枝机会的公平性。摘要未提供数据集名称、模型、压缩率、计算量、性能指标及对照配置,因此不能量化优势,也不能据此确认实际设备上的推理加速。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码模型包含可按滤波器或特征通道分组剪枝的模块,该正则化思路可能用于压缩模型,但不能将特征通道剪枝直接等同于 EEG 电极选择。可复用的是辅助变量驱动的组级正则化机制,需改造的是剪枝分组及性能保持约束;低信噪比、小数据和跨被试变化可能使幅值分化与任务重要性不一致。一个可检验的小实验是在相同 EEG 数据划分、训练预算和目标压缩率下,与 Group Lasso 比较解码性能、剪枝决策对参数扰动的稳定性及实际推理延迟。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其性能保持的代数条件及辅助变量正则化如何同时缓解幅值偏置和剪枝边界敏感性,但摘要不足以验证理论适用范围与实际压缩收益。

来源:OpenReview · State space models · openreview.net