追踪语言模型从预训练到后训练的表征几何演变

基于摘要分析。该研究考察大型语言模型（LLM）的表征几何如何随预训练与后训练演变，使用有效秩和特征值谱衰减刻画表征维度及方差分布，并将其与记忆、下游任务表现和分布外鲁棒性联系起来。 在 OLMo 与 Pythia 模型家族的预训练过程中，作者报告观察到一致的非单调三阶段变化：初始 warmup 阶段发生快速表征压缩；随后进入“熵寻求”阶段，表征流形的有效维度扩张，并与记忆增加相关；之后的“压缩寻求”阶段呈现各向异性整合，即保留主导特征方向的方差、收缩其他方向，并与下游任务表现改善相关。作者将这些阶段的形成联系到交叉熵优化、信息瓶颈及偏斜数据分布的相互作用；摘要尚不足以核实其机制解释的证据强度。 后训练方面，作者报告，Supervised Fine-Tuning（SFT）与 Direct Preference Optimization（DPO）伴随另一轮“熵寻求”动态，以整合指令或偏好数据，同时分布外鲁棒性下降；Reinforcement Learning with Verifiable Rewards（RLVR）则往往表现为“压缩寻求”动态，整合奖励对齐行为，并降低输出分布的熵。表征谱变化与输出分布熵属于不同测量对象，不能直接等同。 摘要未提供具体模型规模、表征提取位置、谱估计方式、评估数据与划分、基线或量化结果；实验协议、消融及统计信息尚未验证。阶段变化是否受输入样本组成、训练检查点和谱估计条件影响，是阅读全文时需核对的事项。 平台推测（待验证）：这一谱分析框架可作为 EEG 表征训练的诊断假设，而非已验证的 BCI 方法。它依赖可比较的隐藏表征、训练检查点及统一采样条件，可能用于考察 EEG 编码器压缩是否伴随跨被试泛化改善；可复用谱测量，需改造通道与时间维度的聚合方式。低信噪比、通道差异、被试差异及小样本谱估计偏差可能使有效秩变化反映噪声而非有效信息。一个可证伪的小实验是在固定 EEG 数据划分和输入窗口上，逐检查点测量有效秩，并检验其与跨被试性能的关联是否跨随机种子稳定。已有 EEG 相关工作尚未检索确认。