含噪线性循环神经网络学习动力学理论

基于摘要分析。该研究探讨内禀噪声是否会实质性改变循环神经网络（RNN）的表征学习，而不仅是学习过程中的干扰因素。作者通过具有线性激活函数和白噪声输入的可解析模型，分析噪声如何打破解空间的简并性，以及如何影响非简并解的最优性。 作者报告，在权重以较小数值初始化的 rich regime 中，噪声会显著调制输入映射（read-in）、读出（readout）及循环权重的对齐方向。作者还报告一种相变式现象：当参数尺度受到限制（例如通过正则化）且噪声足够高时，非简并解不再是最优解。这些结论针对摘要所述的线性模型与约束条件，不能直接推广到非线性 RNN 或真实生物神经网络。 其理论价值在于，将噪声视为可能决定表征结构与解选择的因素，而非仅影响收敛速度的扰动。内禀噪声与白噪声输入的具体关系、学习目标、噪声注入位置、相变判据，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设实际 EEG 时序模型中的状态噪声具有可比较的作用，该理论或可帮助研究噪声与正则化如何共同影响表征退化；但 EEG 观测噪声并不等同于 RNN 内禀噪声。可复用的是受控噪声与参数尺度约束的分析框架，迁移时需重新定义信号输入、噪声位置及任务目标。低信噪比、跨被试分布差异、通道变化和小数据条件均可能使原模型假设失效。一个可证伪的小实验是在固定被试内划分下，用线性 RNN 分别改变输入噪声和状态噪声，并扫描正则化强度，检验表征有效秩、权重对齐与任务误差是否出现一致转变；这不是原论文已验证的 EEG 结果，相关 EEG 工作尚未检索确认。