神经模型是否偏好其子模型？

基于摘要分析。本文研究给定神经网络架构所能表达的函数集合，是否在损失函数的局部极小点位置上偏好其自然子模型，例如通过使部分神经元不活跃得到的子网络。核心贡献是提出一个几何框架，用于判断局部极小点是否落在指定子模型中；这里的“偏好”并不直接指训练时更容易学到某种网络结构。 作者报告，对于浅层 multilayer perceptrons，含不活跃隐藏神经元的子网络从不被偏好；对于深层 multilayer perceptrons，作者给出了这类子网络不被偏好的条件。对于 lightning self-attention，低秩子模型通常不被偏好，但作者也识别出因位于模型边界而受到偏好的例子。上述结论的具体损失函数、架构假设及“通常”的数学含义，均需结合全文核对。 作者据此认为，除少数例外，子模型偏好不能由神经模型的几何结构解释，而应来自训练动力学等其他来源。这一结论主要涉及函数集合及损失几何，不能直接等同于实际优化轨迹、神经元失活频率或低秩压缩效果的实验结论。证明条件、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该框架可为理解 EEG 模型中的有效容量或低秩现象提供理论视角，但摘要未提供 EEG/BCI 数据验证，也未明确给出面向低信噪比、跨被试或小样本条件的机制对应，因此暂不据此提出具体迁移方案。已有 EEG 相关工作尚未检索确认。