从反泛化到 Grokking：模加法中的训练—测试表征核动力学

基于摘要分析。本文研究模加法任务中的 grokking，即模型拟合训练数据很久之后才出现泛化的现象，提出以动态训练—训练和训练—测试表征核为核心的定量框架，将隐藏表征的演化与训练、测试 logits 直接联系起来。 机制上，作者指出，拟合训练数据后仍存在近似与标签对齐的残差，在权重衰减作用下维持缓慢的特征学习。作者报告，早期随机特征结构通过虚假的训练—测试相关性主动造成反泛化，使测试 Accuracy 从随机水平降至接近零；随后，特征学习将交叉核重组为与任务对齐的结构，推动泛化。摘要将这一陡峭转变归因于与特征对齐神经元有效数量有关的有限宽度波动。对于晚期平衡状态，作者还提出，学习到的特征核几何可通过关于权重衰减和问题规模的平均场标度律预测交叉熵损失。其贡献重点不是仅将 grokking 归因于延迟特征学习，而是给出连接表征变化与预测行为的定量解释。 摘要未提供网络配置、训练与测试划分、随机水平的具体定义、重复实验及预测误差；上述结果的实验协议、消融及统计信息尚未验证，也不能据此认定该机制适用于其他任务。 平台推测（待验证）：该框架可能作为 EEG 解码训练过程的分析工具，用于区分训练拟合与跨被试泛化何时分离，而非直接作为新解码算法。可复用的是表征核及其标签对齐分析，需改造的是面向模加法任务的结构假设与标度关系。EEG 的低信噪比、被试差异及有限样本可能使核对齐估计不稳定，且实际训练未必出现 grokking。一个可检验的小实验是在固定跨被试划分下，跟踪同一解码器训练期间的表征核、标签对齐程度与测试 Accuracy，检验核结构变化能否解释延迟泛化；不得用测试结果反向调参。已有 EEG 相关工作尚未检索确认。