在权重空间中恢复坍塌的语言模型：无需外部数据

基于摘要分析。本文研究语言模型在自生成训练循环中逐渐丧失分布覆盖的模型坍塌问题，提出利用相邻坍塌检查点的权重差分估计先前退化方向，再将该方向取反以部分恢复模型，无需外部修复数据。主要研究对象是语言模型的合成数据反馈训练，而非 EEG 或 BCI。 核心假设是：有限采样反复丢失低概率内容，使连续几轮坍塌产生局部相似的参数更新。因此，两个连续退化检查点之间的更新，可以作为前一步坍塌方向的估计。若只有一个退化检查点，作者还提出先用该模型自身生成的文本进行短暂训练，再由此构造修复方向；这里的“无需外部数据”并不等于无需生成文本或额外训练。 评估采用多模型反馈循环：不同开放权重模型家族生成文本，将输出汇集为共享合成语料，再据此训练。作者报告，在全参数训练的 1B–1.5B 模型及采用 QLoRA 训练的 7B–8B 模型上，任务向量取反在每个已评估检查点均降低了留出集困惑度，并部分恢复下游任务准确率。摘要未提供具体模型名称、任务、数据划分、改善数值及对照设置，尚不能量化恢复程度或比较两类训练配置。 作者报告的轨迹分析显示，连续坍塌更新方向正向对齐，更新范数随代际缩小，而方向对齐程度随代际距离增加而下降。这支持局部对齐而非全局线性的坍塌轨迹，也限定了该方法的解释范围：摘要支持部分逆转退化，不支持完全恢复原始分布覆盖。权重差分的缩放方式、QLoRA 配置下的向量构造、实验协议、消融及统计信息尚未验证；现有材料也未建立其对 EEG/BCI 的具体适用路径。