SoCo：用于大语言模型压缩的渐进式奇异谱优化

基于摘要分析。本文研究大语言模型（LLMs）的参数压缩，提出 SoCo，通过学习重缩放奇异值分解（SVD）分量，而非直接把奇异值大小视为任务重要性，优化压缩与下游性能之间的权衡。 核心机制是引入可学习的对角矩阵，为 SVD 分量赋予重要性分数。Progressive Spectrum Optimization 在一次连续训练中，让这些分数依次经历解空间探索、振荡细化和最终稀疏化阶段，按学习到的重要性剪除分量，而非遵循固定排序。保留分量的分数还可被放大，以补偿剪枝带来的信息损失；这是作者提出的机制解释，具体补偿程度仍需正文实验支持。 作者报告，在多个 LLMs 和基准上的评估中，SoCo 优于现有先进压缩方法。摘要未提供模型与基准名称、压缩比例、指标数值、训练数据或计算成本，因此无法判断优势适用的压缩区间及复现开销。各阶段的调度、优化目标、对角矩阵约束、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，EEG 解码模型权重中的奇异值大小也未必对应任务贡献，可复用分量重缩放与渐进稀疏化思路，但需针对目标模型的矩阵结构、监督目标及数据规模调整。低信噪比、小样本和跨被试分布变化可能使重要性分数过拟合；摘要也未说明 SoCo 所依赖的训练监督与数据量。一个可证伪的小实验是在同一 EEG 解码模型和固定压缩预算下，对比按奇异值截断、学习重缩放及完整渐进优化，分别报告被试内与跨被试任务性能和计算开销。已有 EEG 相关工作尚未检索确认，原领域结果不构成 BCI 有效性证据。