表征维度如何主导结构化剪枝后的 LLM？

基于摘要分析。本文研究结构化剪枝提取不同子网络时，LLM 的性能为何随表征维度变化，并尝试通过前向传播中的激活流分析，建立剪枝后模型性能的解析计算关系。研究对象是 LLM transformer 块中的线性变换，而非 EEG 或 BCI 模型。 方法以表征维度为切入点；该维度在相关文献中也称 embedding dimension、model dimension 或残差流维度。作者采用 SliceGPT 提取不同表征维度的子网络，并对前向传播中的激活流进行机制分析。作者报告，表征维度主导线性变换、模型预测及最终性能，并给出了无需实际评估即可计算剪枝后 perplexity 和 accuracy 的显式解析关系。具体公式及其所需输入、假设和适用条件，摘要未展开。 作者报告在 Llama-3-8B-Instruct 和 Phi-3-mini-4k-Instruct 上进行了经验验证；摘要未提供评估数据集、剪枝比例、对照设置、预测误差或具体性能数值，实验协议、消融及统计信息尚未验证。阅读全文时，应重点核对解析关系是否依赖特定数据上的激活统计、对不同剪枝程度的预测精度，以及能否推广到 SliceGPT 之外的结构化剪枝方法。 材料未提供 EEG/BCI 实验，也不足以建立具体的跨领域机制对应，因此不据此推断对神经信号模型压缩有效；已有 EEG 相关工作尚未检索确认。