通过逐层特征压缩与区分理解深度表征学习

基于摘要分析。本文研究多分类任务中深度网络如何逐层形成层级表征，以训练后的深层线性网络为理论对象，分别定义衡量中间特征类内压缩与类间区分的指标，并分析这些指标随网络深度的变化。 核心机制与理论边界：作者以线性层与非线性深层网络在特征学习中的经验相似性为动机。在输入数据近乎正交、网络权重满足最小范数、平衡性及近似低秩等条件下，作者给出的理论结论是：随数据经过的层数增加，类内特征逐层按几何速率压缩，类间特征区分则按线性速率增强。这是带有特定条件的表征演化规律，不能直接推广为任意深度网络的性质。 经验验证与复现：作者报告，数值实验验证了理论结果，并在深层非线性网络中观察到相似模式，还展示了这些结果对迁移学习的实际意义。摘要提供了代码仓库，但未给出具体数据集、网络配置、指标数值或迁移学习协议；实验协议、消融及统计信息尚未验证，非线性网络中的经验现象也需与线性网络的理论保证区分。 平台推测（待验证）：其与 EEG 的潜在对应是利用逐层压缩与区分指标，诊断分类表征是否减少类内变异并保留任务类别差异，而非直接提供新的 BCI 解码器。可复用部分是中间特征的分析框架，需针对 EEG 的被试、会话与通道结构改造评估协议；低信噪比、被试差异及小样本可能使理论假设不成立，也可能导致类内压缩掩盖有效差异。一个可检验的小实验是在固定 Cross-subject 划分的 EEG 分类模型上，逐层计算论文所定义的指标，并对照测试集表现，检验压缩与区分趋势是否存在、是否对应泛化改善。已有 EEG 相关工作尚未检索确认。