神经网络稀疏性的特征空间对齐假说

基于摘要分析。本文研究幅值剪枝为何能在移除大量权重后维持性能，又为何最终失效；核心贡献是在特征空间权重可显式表达的受控设定中，将剪枝后的准确率崩塌与相对稠密网络的特征表示偏离联系起来，并以保持潜在特征结构的优化 oracle 检验这一解释。 机制与对照：标准剪枝以原有权重为基础进行稀疏化；作者引入的优化 oracle 则不受原始权重矩阵选择的限制，寻找显式保留潜在特征结构的稀疏权重矩阵。作者报告，在相同再训练预算下，该 oracle 在逻辑与视觉任务上能够恢复标准剪枝已出现性能退化的稀疏程度下的性能。摘要未提供具体任务、数据集、稀疏率、准确率或预算数值，不能据此比较收益大小。 证据边界：作者据此提出，稀疏化极限可能部分源于权重空间与特征层级结构之间的不对齐，而非仅由剩余权重数量决定。这是受控设定支持的解释，尚不能视为任意网络上的普遍结论。需核对特征表示及偏离度的定义、oracle 的优化目标与计算成本，以及其是否依赖实际剪枝时难以获得的信息；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 解码网络中也存在可稳定识别的潜在特征结构，特征感知剪枝可能有助于减少压缩造成的任务信息损失。可复用的是稀疏网络与稠密网络的特征对齐思路；特征提取层、对齐度量及校准数据选择需适配 EEG。低信噪比、跨被试差异、通道变化与小数据可能使稠密模型特征本身不稳定，导致对齐目标保留噪声或被试特异信息。一个可检验的小实验是在固定 EEG 解码器、相同稀疏率和再训练预算下，对比幅值剪枝与特征对齐约束剪枝，分别评估被试内及跨被试性能与特征偏离程度。已有 EEG 相关工作尚未检索确认，原领域结果不构成 BCI 有效性的证据。