神经语言模型学习轨迹中的泛化与记忆：类别化的几何解释

基于摘要分析。该研究考察神经语言模型在训练过程中如何从类别化泛化转向样本记忆，通过在受控合成语法上训练一系列 decoder-only Transformers，联合分析表征空间几何与模型行为随学习进程的变化。 作者报告，训练早期的反向传播优化不仅改变已观测数据点附近的表征，也系统性地改变未被数据点占据的空间区域，逐渐形成全局连续几何结构。作者将这些结构解释为反映底层数据生成过程的类别：类别并非简单的 token 集合，而是表征空间中的连续区域，模型行为在早期主要受此类类别化知识驱动。 作者进一步报告，随着学习推进，记忆逐渐占据主导，表征空间中的优化变化更集中于离散观测数据点附近，全局连续几何结构逐渐被破坏，模型行为也更依赖具体输入的记忆。作者据此提出，神经语言模型从优化早期便通过分布统计形成类别，而非先记忆具体序列再获得泛化。这一解释的证据范围是摘要所述的受控合成语法实验，不宜直接推广为所有语言模型或训练任务的普遍规律。 摘要未提供合成语法构造、模型规模、训练设置、空间空白区域的探测方法，以及泛化与记忆的操作性定义；实验协议、消融及统计信息尚未验证。复现时尤其需核对几何变化与行为转变的量化指标，以及二者的对应关系如何建立。 平台推测（待验证）：可借用其沿训练轨迹联合观察表征几何与泛化行为的分析思路，检验 EEG 小样本解码是否存在相似转变；这不是已验证的 BCI 方法。原研究依赖受控语法所提供的数据生成结构，迁移时需改为固定被试划分下的 EEG 任务标签与表征探测，并避免将低信噪比或被试差异造成的聚类误判为任务类别。一个可证伪的小实验是在固定跨被试划分下保存训练检查点，比较任务类别几何结构与留出被试性能是否出现一致的阶段变化。已有 EEG 相关工作尚未检索确认。