RotPruner：旋转空间中的大语言模型剪枝

基于摘要分析。该研究面向大语言模型的参数压缩，提出训练式剪枝框架 RotPruner：旋转线性层的权重矩阵与激活空间，再在旋转空间中应用既有剪枝方法，以减少压缩造成的性能损失。 作者认为，现有方法依赖启发式指标或逐层重建损失，可能未充分考虑剪枝对模型整体输出的影响；原始参数空间也未必最适合剪枝。RotPruner 的核心思路是先改变剪枝所处的空间，而非仅调整剪枝指标。摘要称其通过高效算法寻找有利于保留剪枝后性能的旋转，并可与其他剪枝方法结合，支持非结构化、半结构化和结构化剪枝。旋转的参数化方式、优化目标、训练数据需求及推理时如何处理旋转尚未验证。 作者报告在 OPT、LLaMA-2 和 LLaMA-3 上评估了语言建模与 zero-shot 任务，并称取得最先进性能；摘要未提供模型规模、剪枝比例、任务与数据集、对照基线或具体指标，因此无法核对优势幅度，也不能据此判断显存、计算量或实际延迟的改善。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 解码模型中的线性层存在对坐标表示敏感的剪枝误差，学习旋转空间可能成为压缩模块的候选方案，但大语言模型结果不等于 BCI 有效性。可复用的是旋转后剪枝的框架；需针对 EEG 任务改造优化目标与校准数据，并核对旋转开销。低信噪比、跨被试分布变化及小样本可能导致旋转过拟合。一个可检验的小实验是在固定跨被试划分与相同剪枝比例下，对比原空间剪枝和旋转后剪枝，同时测量解码指标及部署延迟。已有 EEG 相关工作尚未检索确认。