表示维度如何主导结构化剪枝后的 LLM？

基于摘要分析。该研究探讨结构化剪枝提取不同子网络时，LLM 性能为何随表示维度变化，并尝试通过前向激活流分析建立表示维度与剪枝后性能之间的解析关系。 研究以表示维度为切入点；该维度也称 embedding dimension、model dimension，或残差流的维度。作者考察 LLM Transformer 块中的线性变换，使用 SliceGPT 提取具有不同表示维度的子网络，再从机制层面分析前向传播中的激活流。作者报告，表示维度主导线性变换、模型预测及最终性能，并给出无需实际评估即可计算剪枝模型困惑度与 Accuracy 的显式解析关系。 作者报告在 Llama-3-8B-Instruct 和 Phi-3-mini-4k-Instruct 上进行了经验验证。摘要未提供评估数据集、任务、剪枝比例、具体数值或解析预测误差，因而目前无法判断关系式的精度与适用范围。其推导假设、是否依赖校准数据、与其他结构化剪枝方法的对照，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若该关系依赖的是 Transformer 残差流宽度及线性变换的一般性质，而非语言任务特有条件，可能为 EEG Transformer 的压缩分析提供参考。可复用部分是激活流分析思路，需改造和验证的是 EEG 输入表示及任务性能与维度之间的映射；低信噪比、跨被试分布变化、通道差异和小数据可能使 LLM 中的关系失效。一个可检验的小实验是在固定 EEG 模型、数据划分与训练设置下，比较不同剪枝维度的解析预测与实际 Accuracy，并分别报告被试内和跨被试结果。已有 EEG 相关工作尚未检索确认。