神经网络中表示的形成

基于摘要分析。本文研究神经网络中复杂、结构化且可迁移的表示如何形成，提出 Canonical Representation Hypothesis（CRH），尝试用六种对齐关系描述多数隐藏层中潜在表示（R）、权重（W）与神经元梯度（G）在训练期间的共同演化。 作者提出，在 CRH 成立时，R、W、G 相互对齐，使网络自然形成紧凑表示，并使神经元和权重对任务无关变换具有不变性。作者进一步指出，当 CRH 被打破时，三者之间会出现相互关联的幂律关系，并将其概括为 Polynomial Alignment Hypothesis（PAH）。摘要未给出六种关系及幂律的具体数学形式，不能据此确定其适用的网络结构、训练阶段或任务条件。 理论方面，作者报告提出了一个依赖较少假设的理论，论证梯度噪声与正则化之间的平衡对规范表示的形成至关重要；并认为 CRH 与 PAH 有望在同一框架下解释 neural collapse 和 neural feature ansatz 等现象。这里的统一仍应理解为作者提出的理论可能性，而非已证实覆盖所有深度学习系统。理论假设、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该框架可能为分析 EEG 解码器是否学到任务相关、而非被试或会话特异的表示提供诊断视角，但原文主要研究对象是一般神经网络，并未提供 EEG/BCI 有效性证据。可复用的是对 R、W、G 对齐关系的分析思路；需改造的是 EEG 中任务无关变换的定义及对齐量的估计方式。低信噪比、小样本和通道差异可能使估计不稳定，被试差异也未必能视为纯粹的任务无关变换。一个可检验的小实验是在固定 EEG 解码器与 Cross-session 划分下，仅改变正则化强度，比较对齐量、表示紧凑性与测试表现是否共同变化。相关 EEG 工作尚未检索确认。