跳到正文
OpenReview · Representation learning·· 2026-09-10精选AI 评分72

Neural Darwinism:卷积神经网络中表征演化的理论框架

Neural Darwinism: A Theoretical Framework for Representation Evolution in Convolutional Neural Networks

AI 导读

基于摘要分析。本文研究卷积神经网络训练中的表征演化与模型压缩,将人工神经元视为在训练期间竞争存续的适应性单元,提出统一的 Darwinian Score,并以 Neural Darwinism Culling(NDC)实现动态神经元剪枝。 该评分涵盖信息多样性、功能贡献和时间适应性三个维度,并据此构造平衡模型紧凑性与预测保真度的约束优化目标。NDC 持续移除低适应度神经元,例如激活塌缩、对损失下降的因果影响可忽略或参数轨迹停滞的单元,同时保留具有差异化表征与适应性的单元。作者将其描述为可解释、感知网络层次的剪枝机制,并提出保留高适应度神经元能够维持网络功能容量的近似保证;具体数学定义、假设及误差界尚未验证。 作者报告,在摘要所称的多种方法设置下,NDC 相比所比较的 SOTA 方法获得更高稀疏度与更好的泛化,尤其是在极端压缩条件下;作者还报告消融支持 Darwinian Score 是收益的关键来源。摘要未提供数据集、模型、稀疏度定义、对照方法或数值,实验协议、消融及统计信息尚未验证。复现需核对评分估计方式、训练轨迹采样、剪枝调度,以及压缩后的性能恢复流程。 平台推测(待验证):这一机制可能用于 EEG 卷积解码器的冗余压缩,但原论文主要研究一般深度网络,不能据此认定已有 BCI 收益。可复用部分是适应度评分与动态剪枝逻辑,需改造或校准的是时序特征的多样性度量及功能贡献估计。低信噪比和小数据可能使评分波动,将对少数被试有用的单元误判为冗余。一个可检验的小实验是在固定 Cross-subject 划分与相同训练预算下,比较 NDC 和幅值剪枝,在匹配压缩程度时测量 Accuracy 与实际推理延迟,并检查不同随机种子的稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 Darwinian Score 如何将表征多样性、功能贡献与时间适应性统一为剪枝依据,以及其近似保证在何种条件下成立;摘要中的压缩与泛化优势尚需结合完整实验协议验证。

来源:OpenReview · Representation learning · openreview.net