用于紧凑 EEG 网络结构化剪枝的无梯度滤波器重要性评估
Gradient-Free Filter Importance for Structured Pruning of Compact EEG Networks.
基于摘要分析。该研究针对资源受限 BCI 硬件上的 EEG 分类网络部署,比较紧凑架构中不同滤波器重要性准则的结构化剪枝效果,重点考察基于消融的结构敏感性分析(SSA)与梯度、权重及随机准则的适用边界。 作者将比较描述为无数据泄漏且实际落实网络结构裁剪的评估,覆盖四个数据集、运动想象与 ERP 两类范式、EEGNet 与 ShallowConvNet 两种架构、多种容量,以及有无微调的条件。比较准则包括 SSA、一阶 Taylor、L1-norm、geometric median 和随机剪枝。SSA 通过消融评估结构敏感性,不依赖损失梯度;具体消融单位、重要性计算方式及剪枝流程仍需全文核对。 作者报告,在 EEGNet 经微调的条件下,汇总四个数据集后,SSA 与 Taylor 的 Accuracy 差异落在 ±1 个百分点的等效界值内(TOST,p=0.01);在 ShallowConvNet 上,SSA 的表现不劣于 Taylor,二者均显著优于基于权重及随机的重要性准则。上述结果不能外推为任意数据划分或剪枝比例下的等效性。 在权重量化为 8-bit 的 EEGNet 上,作者指出其所用量化计算图中的损失梯度未定义,因此 Taylor 准则不可用;在这一特定条件下,作者报告 SSA 是表现最佳的无梯度准则,汇总结果显著优于 L1-norm、geometric median 与随机剪枝。该结论对应可编辑、但无法使用梯度的量化部署场景,并不意味着所有量化网络都无法计算梯度。 作者还报告,剪枝调度与微调的影响大于强准则之间的选择;先训练较大模型再剪枝并微调,可恢复到与直接训练较小模型等效的准确率。复现时需核对数据集名称、被试及划分协议、剪枝率、微调预算、量化实现和统计汇总方式;实际参数量、运算量、延迟及硬件收益在摘要中未给出,实验协议、消融及统计信息尚未验证。
该研究值得关注之处是区分了紧凑 EEG 网络中剪枝排序精度与部署可用性:作者报告 SSA 的主要价值并非优于 Taylor 的准确率,而是在所用量化计算图无法定义梯度时仍可执行结构化剪枝。
来源:Europe PMC · 运动想象算法 · doi.org