神经网络稀疏性的特征空间对齐假说

该研究探讨幅值剪枝为何能在删除大量权重后保留准确率，以及更高稀疏度下性能为何崩溃，提出应关注剪枝前后有效特征空间权重的保持，而不只是原始权重的保留。基于摘要分析，论文贡献包括受控机制分析、直接保持特征空间矩阵的稀疏优化 oracle，以及通过 sparse autoencoder 恢复剪枝相关结构的近似路径。 研究在分类前引入线性嵌入，用其表示前序层对输入特征坐标的混合，从而直接分析网络的有效特征空间权重。作者报告，标准剪枝的准确率崩溃与该表示偏离剪枝前取值同时出现；这一观察支持对齐假说，但摘要不足以确认其因果解释的适用边界。所构建的 oracle 在已知嵌入时重新选择稀疏权重矩阵，不要求保留原矩阵中的权重，而是直接保持稠密模型诱导的有效特征空间矩阵。 作者报告，在相同再训练预算下，oracle 能在标准剪枝方法性能显著下降的稀疏度区间恢复性能，并在合成逻辑任务和更贴近实际的任务中呈现一致行为；在真实嵌入未知时，利用 sparse autoencoder 恢复其剪枝相关结构也可达到 oracle 水平的剪枝性能。摘要未提供具体任务名称、稀疏率、准确率、基线细节或训练规模，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 分类器中存在可估计且相对稳定的特征混合结构，特征空间保持约束可能为模型压缩提供参考，而非直接带来解码性能提升。可复用的是有效表示保持思路，需改造的是嵌入估计及其与 EEG 时空特征的对应方式；低信噪比、跨被试和通道变化可能导致估计失稳，小数据也可能使 sparse autoencoder 过拟合。一个可证伪的小实验是在固定被试内划分、稀疏率和再训练预算下，对比幅值剪枝与特征空间保持剪枝，同时测量表示偏离和分类准确率，检验二者是否稳定关联。已有 EEG 相关工作尚未检索确认。