利用参数空间对称性的无数据 Transformer 量化

基于摘要分析。本文研究 Transformer 的训练后量化（PTQ）问题，提出利用参数空间对称性变换模型权重，以降低量化误差方差，缓解权重异常值及高变异性带来的量化性能损失。主要研究对象是 Transformer，摘要中的评估对象为量化后的大语言模型，并非 EEG/BCI 模型。 机制上，许多 PTQ 方法依赖校准数据估计权重与激活分布；本文提出无数据路径，通过寻找模型权重的变换改善量化条件。作者将其描述为轻量级方法，可作为其他 PTQ 方法的预处理步骤。摘要未说明具体对称变换、优化过程、量化位宽、权重与激活的处理范围，以及变换如何保持模型功能，这些细节尚未验证。 作者报告在若干基准任务上评估了量化后的大语言模型，但摘要未给出模型名称、任务名称、对照基线或定量性能，因此尚不能判断精度保持程度及实际内存、计算收益。实验协议、消融及统计信息尚未验证，代码与复现条件亦未由材料确认。 平台推测（待验证）：假设某些 EEG Transformer 具有适用的参数空间对称性，这种不依赖校准数据的权重预处理可能用于探索小数据部署场景中的量化稳定性。可复用部分是权重变换与 PTQ 的衔接流程；需核对并改造的部分是 EEG 模型结构对应的对称性及量化配置。低信噪比、通道变化和跨被试分布差异可能使权重误差方差下降无法转化为任务性能改善，且该方法是否处理激活异常值尚不明确。一个可检验的小实验是在固定 EEG 任务划分、相同模型与位宽下，对比原始 PTQ 和加入该预处理的 PTQ，检查量化误差及相对浮点模型的任务性能损失。已有 EEG 相关工作尚未检索确认。