二阶差分空间搜索（SODSS）

基于摘要分析。本文研究能否仅从已训练网络的训练检查点，提取用于剪枝或量化的权重重要性信息，而不额外计算校准数据梯度或 Hessian 向量积。作者提出利用训练轨迹中的二阶差分与路径显著性构建 SODSS；摘要展示的实证主要是剪枝，量化效果尚未验证。 理论上，作者给出梯度下降路径上参数二阶差分与路径平均 Hessian 的精确关系，说明检查点可以揭示优化器沿自身路径经历的曲率，包括全局及分块 Rayleigh quotient，但不能识别逐参数 Hessian 对角元素。作者还给出小批量噪声偏差随检查点步距 Δ 增大而减小的界；其适用假设需由正文核对。 方法以 log-speed 的二阶差分作为尺度无关事件统计量，在参数、表征及 token-embedding 空间检测训练阶段变化，再用阶段加权的路径 Fisher 显著性为权重评分。作者将该评分与使用路径平均经验 Fisher 的 Optimal Brain Damage 显著性联系起来，并指出去掉权重平方因子后与 Synaptic Intelligence 对应。评分阶段无需梯度、数据或 Hessian 乘积，可单次流式计算，内存复杂度为 O(d)。 作者报告，在 SGD 训练的 MLP 和 CNN 上进行一次性全局剪枝时，SODSS 在最高 95% 稀疏率范围内接近 magnitude pruning，优于梯度 Fisher 和 SNIP 准则，并在 98% 稀疏率时表现最佳。摘要未明确性能指标、数据集或评估划分。作者报告，事件检测器无需获知调度安排即可识别学习率变化和表征阶段变化。原始评分在 AdamW 下失效，因为参数更新不再与梯度成比例；利用检查点中的二阶矩状态校正预条件器后，在所测试的 AdamW Transformer 各稀疏率上均优于 magnitude pruning。作者也报告逐参数二阶统计没有帮助，阶段加权没有可测量收益。 复现需取得训练轨迹检查点，AdamW 校正还需相应优化器状态；具体采样步距、实现、实验协议、消融及统计信息尚未验证。平台推测（待验证）：该机制可用于评估 EEG 解码网络的训练轨迹剪枝，但原领域结果不等于 BCI 有效性。可在固定跨被试划分和相同稀疏率下，与 magnitude pruning 比较解码指标，并检查检查点密度及 AdamW 校正的影响；低信噪比、小数据与被试差异可能使轨迹统计不稳定。已有 EEG 相关工作尚未检索确认。