通过逐层特征压缩与区分理解深度表征学习

基于摘要分析。本文研究多分类任务中深度网络如何逐层形成层级表征，以深度线性网络为主要理论对象，分别定义衡量中间特征类内压缩与类间区分的指标，并分析二者随网络深度的变化规律。 作者从线性层与非线性网络深层在特征学习中呈现相似作用的经验观察出发，考察训练后各层输出。在输入数据近似正交，且网络权重满足最小范数、平衡及近似低秩条件时，作者报告理论分析表明：类内特征随经过的层数以几何速率逐步压缩，类间特征的区分则随层数以线性速率增强。这些结论依赖上述条件，不能直接视为任意深度网络的普遍规律；摘要未提供指标公式及各假设的精确定义。 作者报告实验验证了理论结果，并在深度非线性网络中观察到类似模式，另展示了结果在迁移学习中的实际价值。摘要未披露数据集、网络配置、训练目标、对照基线及迁移收益数值，实验协议、消融及统计信息尚未验证。对非线性网络的经验观察也不等同于上述线性网络定理已被推广。 平台推测（待验证）：该分析框架可能用于诊断 EEG 分类表征是否在逐层抑制类内变异的同时保留类别区分，但原论文研究对象并非 EEG。可复用的是逐层测量思路；需依据全文核对指标定义，并适配 EEG 的类别标签、通道结构及被试划分。低信噪比、跨被试差异和小样本可能使类内压缩与有用信息保留不一致，EEG 输入也未必满足近似正交条件。一个可检验的小实验是在固定跨被试划分下，对同一 EEG 分类器各层计算原文指标，并检验其变化规律及与留出被试表现的关系。已有 EEG 相关工作尚未检索确认。