神经热力学:深度与通用表征学习中的熵力
Neural Thermodynamics: Entropic Forces in Deep and Universal Representation Learning
基于摘要分析。本文研究深度学习中涌现现象的成因,提出用于解释随机梯度下降(SGD)及其变体训练动力学的熵力理论,尝试将神经表征对齐与优化过程中看似矛盾的尖锐性、平坦性偏好纳入统一框架。 核心机制建立在参数对称性与熵性损失景观之上。作者提出,训练随机性和离散时间更新会产生涌现熵力,系统性地打破连续参数对称性,同时保留离散参数对称性,进而形成类似热系统能量均分性质的一系列梯度平衡现象。其研究对象是神经网络的训练动力学与表征,而非 EEG 解码或 BCI 系统。 作者报告,该框架能够解释不同 AI 模型之间神经表征的普遍对齐,并据此给出 Platonic Representation Hypothesis 的证明;同时解释深度学习优化为何在不同情境下表现出偏好尖锐解或平坦解的行为。这些是作者在摘要中提出的理论与实验结论,证明所依赖的假设、对齐的具体定义、适用模型及优化条件均需核对全文,不能将其理解为对任意模型与数据分布的无条件结论。 摘要未提供具体数据集、网络配置、实验规模、评估指标或数值结果,实验协议、消融及统计信息尚未验证。复现前需明确熵力的数学定义与可观测量、SGD 随机性及离散步长的条件,以及参数对称性如何映射到表征层面的结论。本文属于通用学习理论,摘要尚未建立其与 EEG 低信噪比、跨被试或跨会话泛化问题的具体机制对应;已有 EEG 相关工作尚未检索确认,因此暂不提出迁移实验建议。
值得核对其如何以参数对称性与熵力统一解释表征对齐及优化中的尖锐性、平坦性偏好,尤其是 Platonic Representation Hypothesis 的证明条件与适用范围,但其对 EEG/BCI 的解释力尚未验证。
来源:OpenReview · Representation learning · openreview.net