arXiv · 在线与高效推理· Jiahui Ning; Liang Chen; Yuchen Liang; Yi Zhang; Fenglei Fan·· 21 小时前精选AI 评分74
ACE-Compression:面向压缩大语言模型的能力中心评估
ACE-Compression: An Ability-Centric Evaluation of Compressed Large Language Models
AI 导读
基于摘要分析。该研究关注大语言模型压缩后哪些底层能力得到保留、哪些发生退化,提出能力中心评估框架 ACE-Compression,以补充仅衡量任务性能保留程度的常规评估。 框架覆盖四个面向部署的维度:程序性推理与约束执行、知识 grounding 与真实性、社会认知与情感理解,以及角色设定忠实度与风格一致性。其主要贡献是将压缩后的表现拆解为能力画像,而不是仅以综合任务分数描述性能变化;摘要未提供各维度的探测任务、评分标准或聚合方式。 作者报告,在来自六个开放权重 LLM、覆盖量化与剪枝的超过 35 个压缩检查点上,压缩会重新分配模型的能力表现:粗粒度、局部及表层信号往往能够保留,细粒度、长尾及依赖上下文的能力则较脆弱。作者还报告,量化在能力保留方面持续优于剪枝,但这一差距的部署意义取决于应用所需的具体能力。摘要未提供压缩率、模型规模、对照匹配条件及具体分数,因此不能据此确定优势幅度,也不能将其推广至所有量化或剪枝设置。 复核重点包括各能力维度的操作化定义、探测任务的效度,以及不同压缩方法在资源预算和压缩程度上的可比性。实验协议、消融及统计信息尚未验证,评估数据与实现是否公开亦尚未验证。该研究的主要对象是通用 LLM 压缩评估,材料未提供 EEG 或 BCI 验证,不能据此推断其对神经信号解码有效。
阅读价值
该研究将压缩模型的评估从任务总分细化为能力保留画像,为核对量化与剪枝是否满足具体部署需求提供了诊断视角,但评估协议及结论稳健性尚待全文验证。
来源:arXiv · 在线与高效推理 · arxiv.org