压缩何处造成损伤：面向神经网络混合精度量化的函数空间敏感度

基于摘要分析。该研究针对混合精度训练后量化中逐层精度选择的组合优化问题，分析如何在输出空间衡量具体量化方向造成的损伤，以及保留一阶切向响应相较于标量敏感度能提供哪些额外信息。主要研究对象是通用神经网络量化，而非 EEG 或 BCI。 对于某层某压缩动作引入的参数扰动 ΔW_{l,a}，作者分析一阶 logit 扰动 J_lΔW_{l,a} 及其对应的 J_lᵀJ_l 二次型，以欧氏 logit 几何刻画函数空间敏感度。该度量针对实际压缩方向；校准输入固定后不依赖标签，并可用于不同的一阶分析。与仅保留单一敏感度数值相比，保留切向响应还支持分析不同扰动响应之间的干涉。 作者报告，在 ResNet-18、MobileNetV3-Small 和 MobileNetV2 上，该敏感度能够为实际压缩损伤提供有信息量的排序；在孤立压缩动作下，局部线性响应与直接测得的输出失真较为一致。作者报告，控制压缩强度后的分析表明，该排序不能仅由压缩幅度解释；建模切向干涉的收益依赖具体网络，并非普遍成立。在受预算约束的精度分配中，当不同压缩动作足够可区分时，更准确的函数空间失真预测也可能改善分配决策。摘要未提供数据集、校准规模、位宽集合、预算定义或具体指标，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该机制可能用于资源受限 EEG 解码模型的逐层量化，复用方向特异的敏感度与预算分配分析，但需核对解码输出的 logit 几何是否对应实际任务损失，并改造校准输入选择。低信噪比、跨被试分布变化及小规模校准数据可能使敏感度排序不稳定，通道配置变化也可能影响其适用性。可先在固定 EEG 解码模型与同一被试内划分下，比较孤立层量化的预测失真排序和实测输出失真，再检验固定预算下的 Accuracy 变化。已有 EEG 相关工作尚未检索确认。