基于基表示视角的大语言模型动态分析

基于摘要分析。本文研究大语言模型在训练过程中内部表征几何如何演化，提出基表示分析框架，以 Gram matrices 刻画内部架构的表征几何，并结合梯度流分析描述预训练动力学。 作者将预训练划分为三个阶段：聚焦阶段（focus stage），表征几何凝聚到低维结构；稀释阶段（dilution stage），此前不显著的方向被激活；稳定阶段（stabilization stage），表征几何趋于收敛，但模型参数仍继续演化。该框架关注的是表征几何与参数变化之间的关系，而非仅依据参数是否持续更新判断表征是否稳定。 作者报告，在多个 LLM 和数据集上进行了实证验证，并在使用真实世界数据集训练开源 LLM 时一致观察到理论预测的动态。摘要未提供具体模型、数据集、训练规模、阶段判定标准或量化指标，因此尚不能判断三阶段现象的适用范围，以及它与任务性能的关系。Gram matrices 的具体构造、梯度流分析的假设、实验协议、消融及统计信息尚未验证。 本文主要研究对象是 LLM 预训练动力学，摘要未涉及 EEG 或 BCI。现有材料不足以建立具体的跨领域机制对应关系，不能据此推断其对神经信号表征学习有效。