预训练表征抽签决定微调泛化

基于摘要分析。该研究探讨预训练（PT）如何影响微调（FT）泛化，利用实体真实概念几何已知的合成设置，将预训练表征几何与模型行为分开考察。作者提出“表征抽签”假说：随机种子塑造的表征几何，会限制模型在微调中能够达到的泛化能力。 作者报告，在合成设置中，仅训练随机种子不同的模型，即使 PT 损失接近，FT 泛化仍可明显不同。向模型注入真实概念几何后，FT 泛化接近该设置的上限；将表现较好种子的表征蒸馏给表现较差的种子，也能改善其 FT 泛化，而蒸馏同一模型的行为未产生相同效果。作者还报告，表征蒸馏能够合并 PT 阶段从未交互的实体，而单独 FT 不能，支持表征结构与行为模仿并不等价的解释。 在 FT 阶段约束表征漂移后，作者报告，具有良好表征的模型能够学会任务并泛化，表征较差的模型则无法拟合任务；普通 FT 下，后者可能通过破坏预训练表征来拟合训练目标，导致灾难性遗忘。作者进一步在采用不同随机种子重复预训练的 Pythia-160M 和 Pythia-410M 上复现了蒸馏结果，并报告两种规模下可迁移表征均位于深层。具体任务、损失形式、层位定义、训练与评估划分、效应量、消融及统计信息尚未验证。 平台推测（待验证）：其对 EEG 的潜在启发是，预训练损失相近未必意味着跨被试微调潜力相同；可复用的候选机制是表征蒸馏与 FT 表征漂移约束，但需重新定义适合 EEG 的表征对齐目标。原研究依赖可知概念几何的合成设置及多随机种子预训练，EEG 通常缺少真实概念几何，且低信噪比、通道差异和小样本可能使蒸馏保留被试特异噪声。一个可检验的小实验是：在固定跨被试划分下，对预训练损失接近的不同种子模型，比较普通 FT、表征蒸馏后 FT 与行为蒸馏后 FT 的留出被试表现及表征漂移，检验其机制能否迁移。相关 EEG 工作尚未检索确认。