理解 LLM 预训练中的优化器状态量化：状态陈旧化动力学与状态重置的有效性

基于摘要分析。本文研究 LLM 预训练中低精度优化器状态的更新动力学，重点解释指数移动平均（EMA）状态为何因量化而停滞，以及如何通过选择状态重置时机恢复响应能力。贡献包括停滞概率预测模型、停滞随时间累积的分析，以及由理论指导的重置周期启发式方法。 核心机制是：EMA 的名义更新经过量化舍入后，可能仍得到原来的存储值，使状态在多次更新中保持不变。作者据此指出，实际状态适应速度可能比名义衰减系数所暗示的更慢。预测模型估计单步停滞概率，并刻画初始化后停滞的累积过程；状态重置则可在量化 EMA 已有效停滞时，暂时恢复其响应能力。因此，论文不仅讨论是否重置，也讨论何时重置。 作者报告，在受控仿真和 LLM 预训练实验中，合适的重置调度能够恢复低精度状态存储造成的性能损失，同时显著降低优化器状态内存。摘要未给出量化位宽、优化器类型、模型与数据规模、重置操作细节、对照配置及具体指标，性能恢复和内存节省幅度尚未验证，实验协议、消融及统计信息亦尚未验证。 平台推测（待验证）：若 EEG 基础模型预训练采用低精度 EMA 优化器状态，同类舍入停滞机制可能值得检查；其对应的是训练内存与优化响应问题，而非直接解决 EEG 低信噪比或跨被试差异。可复用部分是停滞统计与重置周期选择思路，但需核对不同梯度尺度和训练长度下的适用性，重置也可能破坏有用的历史统计。小规模检验可在固定 EEG 数据划分与训练预算下，对比全精度状态、低精度状态及低精度加重置，记录状态不变比例、验证损失与状态内存占用。该假设尚无本文提供的 EEG 证据，已有 EEG 相关工作尚未检索确认。