Grokking 与常规学习：相同特征，不同编码

基于摘要分析。本文研究 grokking 与普通、平稳学习在达到相近损失时，是否会形成根本不同的模型；核心贡献是在两个受控玩具任务中比较特征、可压缩性及学习动态，将特征内容与编码效率区分开来。 作者报告，两种学习路径学到相同特征，但编码这些特征的效率可能显著不同。在平稳训练中，作者发现一种新的“压缩区间”：模型损失与可压缩性之间呈线性权衡，而 grokking 中未观察到该区间。摘要在这一比较背景下报告，平稳学习所得模型可实现 25 倍压缩，grokking 所得模型可实现 5 倍压缩；压缩方法、损失容忍范围及具体任务条件尚未验证，不能将其解释为普遍的压缩优势。 通过跟踪训练过程，作者报告 grokking 的模型发展过程具有任务依赖性，且可压缩性在 grokking 平台期结束后立即达到峰值。作者还引入新的信息几何度量，并据此报告经历 grokking 的模型在信息空间中沿直线路径演化。度量定义、路径的具体计算方式、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若这种“特征相近而编码效率不同”的现象能在 EEG 解码中复现，可用于检验泛化表现与模型压缩之间是否存在独立关系；原论文并未提供 EEG/BCI 证据。迁移需要 EEG 数据、明确的监督任务及可比较的训练路径，可复用的是特征比较与压缩轨迹分析框架，需改造的是 EEG 特征定义和任务相关的压缩评估。低信噪比、跨被试差异、通道配置变化及小样本可能使训练路径或特征比较不稳定。一个小规模检验是假设两种训练路径均能在固定 EEG 解码任务中形成，采用一致的被试内划分，比较相近测试损失下的表征与压缩—性能曲线；若无法稳定观察到两类路径，则迁移前提不成立。已有 EEG 相关工作尚未检索确认。