通过零空间优化提升大语言模型的训练后量化

基于摘要分析。本文研究大语言模型（LLMs）的训练后量化（PTQ），提出将量化后的权重扰动约束在输入激活的零空间中，以减轻量化误差，并通过在若干既有 PTQ 基线上加入投影方法验证这一思路。 核心机制是利用输入激活确定对当前输入输出影响较小的权重扰动方向。作者提出适配 LLMs 特性的高效零空间投影近似，并报告从理论上推导了所得投影矩阵的等价向量闭式解，以满足实际推理条件。摘要未提供近似形式、等价变换的具体条件，以及推理时如何应用该向量，尚不能据此判断实现成本或与原 PTQ 流程的兼容程度。 作者报告，在若干代表性 PTQ 基线上加入该方法后，性能进一步改善；但摘要未列出模型、数据集、量化位宽、基线名称、指标及改善幅度，无法比较不同压缩条件下的收益。实验协议、消融及统计信息尚未验证。摘要提供了代码地址，但代码内容与复现完整性尚未核验。 平台推测（待验证）：该机制可能对应 EEG 解码模型低比特部署中的输出扰动问题，可复用的是基于激活构造投影并调整量化扰动的思路；需要改造和核对的是 EEG 模型中的权重算子、激活矩阵组织及校准数据选择。其有效性依赖校准激活对实际输入分布的代表性，低信噪比、通道变化、跨被试差异及小数据可能使零空间估计不稳定，或使校准阶段低影响的方向在测试时产生明显误差。一个可证伪的小实验是在固定 EEG 模型、量化位宽和被试划分下，仅用训练侧数据估计零空间，对比原 PTQ 与加入投影后的输出偏差、任务指标及推理开销，并单独检查跨被试表现。已有 EEG 相关工作尚未检索确认，原论文的 LLMs 结果不构成 BCI 有效性的证据。