学习压缩：深度神经网络中的局部秩与信息压缩

基于摘要分析。本文研究深度多层感知机（MLPs）如何编码低维特征流形，并探索这种表征行为与 Information Bottleneck（IB，信息瓶颈）理论的联系。核心贡献是引入 local rank（局部秩）作为特征流形维度的度量，将表征维度降低与输入到中间层的互信息压缩联系起来。 作者报告，其理论分析与实证研究均显示，局部秩在训练最后阶段下降；作者进一步主张，降低所学表征秩的网络也会压缩输入与中间层之间的互信息。这里需要区分局部几何维度的变化与信息论意义上的压缩：摘要提出了二者的联系，但局部秩的具体定义、互信息的计算或估计方式，以及该联系成立的假设条件尚未验证。摘要未提供数据集、网络规模、训练配置、对照方法或定量结果，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若局部秩能稳定刻画任务相关表征的有效维度，可将其作为分析 EEG 模型表征压缩的候选诊断量，而非直接作为已验证的训练方法。可复用部分是逐层、逐训练阶段分析表征维度与信息压缩的思路；需改造或核对的是局部邻域构造、尺度选择及互信息估计对 EEG 数据的适用性。低信噪比、通道差异和小样本可能使维度估计不稳定，秩下降也可能反映判别信息丢失而非有效压缩。一个可检验的小实验是在固定 EEG 任务与数据划分下训练 MLP，记录训练后期的局部秩及独立测试集表现，检验秩下降是否稳定伴随泛化改善。该检验不等同于验证互信息压缩；已有 EEG 相关工作尚未检索确认。