Neural Collapse 对泛化意味着什么？奇异学习理论视角

基于摘要分析。本文研究训练末期出现的 Neural Collapse（NC）表征结构，究竟意味着底层模型复杂度发生了怎样的变化，以及这种变化如何帮助理解泛化。核心贡献是借助奇异学习理论（Singular Learning Theory，SLT），以有限温度经验 Local Learning Coefficient（LLC，局部学习系数）连接 NC 几何与局部奇异复杂度，而非仅从类别表征的几何形态解释 NC。 理论上，作者在精确 NC 与近似 NC 条件下刻画 LLC，建立二者之间的联系。实验方面，作者报告在 Polynomial Neural Networks 中验证了两类理论预测：相对于精确 NC 的小幅偏离下，局部 LLC 保持稳定；接近精确 NC 时，局部损失几何发生相应变化。作者还报告在更广泛的架构中观察到类似的复杂度相关趋势，并提出确定性的 NC 统计量可作为训练期间模型复杂度变化的高效、无需采样的指示量。摘要未提供架构清单、数据集、数值结果或统计不确定性，实验协议、消融及统计信息尚未验证。 该工作的主要对象是一般神经网络的表征、局部复杂度与域内泛化，并非 EEG 或 BCI。它提供的是理解 NC 的复杂度视角，不能据此断言更强的 NC 必然带来更好的泛化，尤其不能直接推广到下游任务。 平台推测（待验证）：若 EEG 分类器存在可测量的类内表征收缩，NC 统计量可能成为分析训练动态的低成本工具，但假设依赖类别结构及表征估计的稳定性。可复用的是 NC 统计与局部 LLC 的对照思路，需改造的是 EEG 表征估计和被试隔离评估；低信噪比、小样本及跨被试差异可能使几何收缩只反映训练集拟合。一个可证伪的小实验是在固定 EEG 数据划分下，比较多个训练检查点的 NC 统计、局部 LLC 与被试内及跨被试测试性能，检验三者是否稳定关联。已有 EEG 相关工作尚未检索确认。